[論文レビュー] A Convex Relaxation Barrier to Tight Robustness Verification of Neural Networks

Hadi Salman, Greg Yang+3 more|arXiv (Cornell University)|Feb 23, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用数 78

ひとこと要約

この論文はLP緩和済みニューラルネット検証器を単一の凸緩和フレームワークに統合し、これら緩和を厳密化する障壁を証明し、最適な緩和がMNIST/CIFAR-10実験を通じて経験的攻撃へのギャップを閉じないことを示す。

ABSTRACT

Verification of neural networks enables us to gauge their robustness against adversarial attacks. Verification algorithms fall into two categories: exact verifiers that run in exponential time and relaxed verifiers that are efficient but incomplete. In this paper, we unify all existing LP-relaxed verifiers, to the best of our knowledge, under a general convex relaxation framework. This framework works for neural networks with diverse architectures and nonlinearities and covers both primal and dual views of robustness verification. We further prove strong duality between the primal and dual problems under very mild conditions. Next, we perform large-scale experiments, amounting to more than 22 CPU-years, to obtain exact solution to the convex-relaxed problem that is optimal within our framework for ReLU networks. We find the exact solution does not significantly improve upon the gap between PGD and existing relaxed verifiers for various networks trained normally or robustly on MNIST and CIFAR datasets. Our results suggest there is an inherent barrier to tight verification for the large class of methods captured by our framework. We discuss possible causes of this barrier and potential future directions for bypassing it. Our code and trained models are available at http://github.com/Hadisalman/robust-verify-benchmark .

研究の動機と目的

• ニューラルネットの頑健性検証のための既存のLP緩和検 verifier を包含する統一的な凸緩和フレームワークを定義する。
• 層ごとの凸緩和の理論的限界（障壁）と検証の厳密性への影響を調査する。
• MNIST, CIFAR-10を対象としたネットワークとデータセットで、PGD攻撃やMILP検証器 に対して最適な凸緩和を経験的に評価する。
• 障壁を回避し頑健性検証を改善する潜在的な方向性を検討する。

提案手法

• 非線形活性の凸緩和を用いたL層前向きネットワークの検証問題を定式化する。
• primal と dual の凸緩和を導出し、一般的な非線形性に対する最適な凸緩和を含める。
• 穏やかな条件の下で、緩和された primal と元の問題の dual が同値であること（強双対性）を示す。
• デュアルを線形 bound で貪欲に解くことで、既存の手法（Fast-Lin、CROWN）を特別な場合として回復する。
• 大規模実験において、LP-all、LP-greedy、LP-last をPGDおよびMILPのベースラインと定義・比較する。

実験結果

リサーチクエスチョン

• RQ1 単一の凸緩和フレームワークは既存のすべてのLP緩和済みニューラルネット検証器を捉えられるか？
• RQ2 層ごとの凸緩和に内在する検証の厳密性を阻む根本的な障壁は存在するか？
• RQ3 最適な層ごとの凸緩和は既存の方法を超えて頑健性証明を大幅に改善できるか？
• RQ4 最も厳密に凸緩和された検証と実験的攻撃（PGD）および正確なMILP検証との比較はどうなるか？
• RQ5 識別された障壁を回避してより厳密な頑健性検証を達成する方向性は何か？

主な発見

• 統一された primal-dual 凸緩和フレームワークは、NNの頑健性検証のための既存のLP緩和検証器を包含する。
• 最適な層ごとの凸緩和には、PGDの上限やMILPの厳密解との差を埋めることができない障壁が存在する。
• MNISTとCIFAR-10を通じて、最良の凸緩和は既存の緩和に比べて下限の面でわずかな改善しかなく、経験的攻撃とのギャップを解消しない。
• 貪欲なデュアル解法は既知の手法（Fast-Lin, DeepPoly/CROWN）を特別な場合として回復し、統一フレームワーク内でリンクさせる。
• 大規模な実験（CPU年換算で約22年相当）により、障壁はReLUネットワークにおいて広範であり、層ごとの凸緩和を超える将来の研究を促す。