[論文レビュー] Efficient Neural Network Robustness Certification with General Activation Functions

Huan Zhang, Tsui-Wei Weng+3 more|arXiv (Cornell University)|Nov 2, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 209

ひとこと要約

CROWNは、適応的な線形（およびオプションの二次）代理を用いて活性化を境界づけることにより、任意の活性化関数を持つニューラルネットワークの頑健性を認証する一般的なフレームワークを提供し、認定境界を改善し、大規模なネットワークへのスケーリングを実現します。

ABSTRACT

Finding minimum distortion of adversarial examples and thus certifying robustness in neural network classifiers for given data points is known to be a challenging problem. Nevertheless, recently it has been shown to be possible to give a non-trivial certified lower bound of minimum adversarial distortion, and some recent progress has been made towards this direction by exploiting the piece-wise linear nature of ReLU activations. However, a generic robustness certification for general activation functions still remains largely unexplored. To address this issue, in this paper we introduce CROWN, a general framework to certify robustness of neural networks with general activation functions for given input data points. The novelty in our algorithm consists of bounding a given activation function with linear and quadratic functions, hence allowing it to tackle general activation functions including but not limited to four popular choices: ReLU, tanh, sigmoid and arctan. In addition, we facilitate the search for a tighter certified lower bound by adaptively selecting appropriate surrogates for each neuron activation. Experimental results show that CROWN on ReLU networks can notably improve the certified lower bounds compared to the current state-of-the-art algorithm Fast-Lin, while having comparable computational efficiency. Furthermore, CROWN also demonstrates its effectiveness and flexibility on networks with general activation functions, including tanh, sigmoid and arctan.

研究の動機と目的

• 非ReLU活性化および一般的なアーキテクチャを持つニューラルネットワークの頑健性認証を動機付ける。
• 任意の活性化関数に対して入力摂動下でのネットワーク出力を境界付ける汎用フレームワークを開発する。
• 最小敵対変形の認定下限を引き締めるために代理境界の適応選択を可能にする。
• 大規模ネットワークに対するスケーラビリティを示し、最新の認証手法と比較する。

提案手法

• 一般的な活性化関数を代理する線形および二次境界を用いるフレームワークCROWNを導入する。
• 事前活性化値の境界を用いたm層ネットワークの明示的な出力境界を導出する。
• 線形代理を介して楕円体/ℓp摂動集合上の全体的な境界をクローズドフォームで提供する。
• 代理の傾きをニューロンごとに適応的に選択して境界を引き締めるスキームを提供する。
• 境界の凸最適化問題へ潜在的になるよう二次境界へ拡張する。
• Fast-LinはCROWNの特別なケースであり、ReLUネットワークの認定境界を改善し、tanh, sigmoid, arctanに適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 頑健性認証をPiecewise linear以外の一般的な活性化関数へどのように拡張できるか。
• RQ2 適応的な線形（および任意の二次）代理は最小敵対変形の認定下限をより引き締めることができるか。
• RQ3 ReLUおよび非ReLU活性化を持つネットワークに対して、CROWNの性能・スケーラビリティ・精度は既存手法と比較してどうか。
• RQ4 大規模なニューラルネットワークで計算効率を維持しつつ、CROWNは認定境界をどの程度改善できるか。

主な発見

• CROWNはℓp摂動下で各出力ユニットに対する出力境界 f_j^L(x) および f_j^U(x) を提供します。
• 適応的代理選択により認定下限をより引き締めることができ、特に実験でFast-Linを最大で26%改善しました。
• CROWNはスケーラブルで、単一CPUコア上で約1分で10,000を超えるニューロンを含むネットワークの認定下限を達成します。
• CROWNはReLU以外の活性化関数（tanh, sigmoid, arctan）にも一般化でき、競争力のある効率性を維持します。
• Fast-Linは固定代理 slopes を持つCROWNの特別なケースである。
• CROWNの二次拡張（CROWN-Quad）は境界の潜在的に凸なサブ問題へ拡張する。