[論文レビュー] Towards Fast Computation of Certified Robustness for ReLU Networks

Tsui-Wei Weng, Huan Zhang+6 more|arXiv (Cornell University)|Apr 25, 2018

Adversarial Robustness in Machine Learning参考文献 49被引用数 152

ひとこと要約

本論文は、ReLUネットワークの最小敵対的歪みの認定下限を計算するための2つの高速アルゴリズム、Fast-LinとFast-Lipを導入し、従来の厳密解法よりもはるかに高速でより厳密な保証を提供します。

ABSTRACT

Verifying the robustness property of a general Rectified Linear Unit (ReLU) network is an NP-complete problem [Katz, Barrett, Dill, Julian and Kochenderfer CAV17]. Although finding the exact minimum adversarial distortion is hard, giving a certified lower bound of the minimum distortion is possible. Current available methods of computing such a bound are either time-consuming or delivering low quality bounds that are too loose to be useful. In this paper, we exploit the special structure of ReLU networks and provide two computationally efficient algorithms Fast-Lin and Fast-Lip that are able to certify non-trivial lower bounds of minimum distortions, by bounding the ReLU units with appropriate linear functions Fast-Lin, or by bounding the local Lipschitz constant Fast-Lip. Experiments show that (1) our proposed methods deliver bounds close to (the gap is 2-3X) exact minimum distortion found by Reluplex in small MNIST networks while our algorithms are more than 10,000 times faster; (2) our methods deliver similar quality of bounds (the gap is within 35% and usually around 10%; sometimes our bounds are even better) for larger networks compared to the methods based on solving linear programming problems but our algorithms are 33-14,000 times faster; (3) our method is capable of solving large MNIST and CIFAR networks up to 7 layers with more than 10,000 neurons within tens of seconds on a single CPU core. In addition, we show that, in fact, there is no polynomial time algorithm that can approximately find the minimum $\ell_1$ adversarial distortion of a ReLU network with a $0.99\ln n$ approximation ratio unless $\mathsf{NP}$=$\mathsf{P}$, where $n$ is the number of neurons in the network.

研究の動機と目的

• ReLUネットワークの認定済み頑健性検証を動機づけ、厳密な最小歪みを見つけることのNP困難性に対処する。
• 実用的なネットワークサイズに対して、速くて認定済みの最小敵対的歪みの下限を提供する。
• ReLUの構造を活用して、保証付きのスケーラブルな境界手法を導出する。

提案手法

• ReLUアクティベーションに対する明示的な線形の上界と下界を用いて、有界摂動下で認定出力境界を得る Fast-Lin を開発する。
• 局所リプシッツ常数を上界することで歪みの下限を認定する Fast-Lip を開発する。
• 活性化パターンの分割を定義し、層間で厳密な解析的境界を表す行列を構築する。
• 閉形式の層ごとの境界を提供し、多項式時間で計算を実現し、SMT/MILPソルバを回避する。
• 摂動半径に対する二分探索を用いて、出力境界から最大の認定下限を取得する。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークにおいて、スケールの大きい場合でも、非自明で認定済みの最小敵対的歪みの下限を効率的に計算できるか？
• RQ2 ReluplexおよびLPベースのアプローチと比較して、速い境界付け法は厳密な最小歪みにどれだけ近づけるか？
• RQ3 ReLUネットワークにおけるL1頑健性の厳密な近似保証を得ることの理論的困難さは何か？
• RQ4 ReLUの活性化構造をどう活用して、スケーラブルで証明可能な頑健性検定を導出できるか？

主な発見

• Fast-Linは、小規模ネットワークでReluplexが見つけた厳密な最小歪みに対する誤差が2-3倍である一方、10,000倍以上の高速性を実現する境界を提供する。
• Fast-Linは大規模ネットワークに対してLPベース手法と同等の境界品質を提供し、誤差は35%以内で、しばしば約10%程度、速度は33–14,000倍高速。
• Fast-Lipは局所リプシッツ常数を上界することで認定下限を提供し、最大7層、10,000以上のニューロンをCPU上で数十秒でスケーラブルな認定を可能にする。
• この手法は大規模なMNISTおよびCIFARネットワークの境界計算を可能にし、SMT/MILPソルバと異なり多項式時間計算を活用する。