[論文レビュー] A Dual Approach to Scalable Verification of Deep Networks

Krishnamurthy, Dvijotham+4 more|arXiv (Cornell University)|Mar 17, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用数 172

ひとこと要約

この論文は、任意のアーキテクチャと活性化関数に適用可能な緊密でいつでも使える二重定式を用いた、ニューラルネットワークの最悪ケース仕様違反を上界する一般的な最適化ベースの検証フレームワークを提示します。MNISTとCIFAR-10における対実装堅牢性の最先端の検証済み境界を示し、従来手法を超えるスケーラビリティを実証します。

ABSTRACT

This paper addresses the problem of formally verifying desirable properties of neural networks, i.e., obtaining provable guarantees that neural networks satisfy specifications relating their inputs and outputs (robustness to bounded norm adversarial perturbations, for example). Most previous work on this topic was limited in its applicability by the size of the network, network architecture and the complexity of properties to be verified. In contrast, our framework applies to a general class of activation functions and specifications on neural network inputs and outputs. We formulate verification as an optimization problem (seeking to find the largest violation of the specification) and solve a Lagrangian relaxation of the optimization problem to obtain an upper bound on the worst case violation of the specification being verified. Our approach is anytime i.e. it can be stopped at any time and a valid bound on the maximum violation can be obtained. We develop specialized verification algorithms with provable tightness guarantees under special assumptions and demonstrate the practical significance of our general verification approach on a variety of verification tasks.

研究の動機と目的

• 安全-criticalな設定での標準的なテストセット精度を超える証明可能な保証の必要性を動機づける。
• 任意のフィードフォワードネットワークと活性化関数を扱える最適化ベースの検証定式を提案する。
• 検証目的の有効な上界を効率的に計算するための双対、制約のない凸最適化アプローチを開発する。
• 画像分類器や他のタスクに対して、緊密でスケーラブルな対実装堅牢性の検証境界を示す。
• 方法のいつでも使える性質と、離散的な入力や組み合わせ的入力制約への適用性を強調する。

提案手法

• 検証を、許容されたすべての入力に対して線形仕様の最大違反を見つけることとして定式化する。
• ラグランジュ緩和を適用して、最悪ケース検証目的の上界を得る（弱双対性）。
• 層毎に分離可能な最適化を導出し、制約のない双対問題を生み出し、サブグラデient法で解ける。
• 活性化境界と各層の線形摂動項について、閉形式解または容易に解ける1次元の部分問題を提供する。
• 分岐的活性化に対して既存のLPベースの検証と同等性を示し、一般の活性化へ拡張する。
• このアプローチのいつでも使える性質、すなわち計算が途中で中断されても利用可能な界を得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の活性化関数とアーキテクチャを持つ一般的なフィードフォワードネットワークで検証を実行できるか。
• RQ2 双対性が特定の仕様の最悪ケース違反に対して computable で厳密な上界をもたらすか。
• RQ3 提案手法は厳密性とスケーラビリティの点で、既存の検証（例：SDP，LP緩和）とどう比較されるか。
• RQ4 検証フレームワークは離散入力や組み合わせ的入力空間制約を受け入れるか。
• RQ5 ノルム制約付き摂動下でのMNISTおよびCIFAR-10に対する対実装堅牢性の実用的な境界はどれくらい達成可能か。

主な発見

• フレームワークは、任意の双対変数の選択に対して検証目的の有効な上界をもたらし、双対変数の最適化によって境界が引き締まる。
• 分岐的線形活性化の場合、方法は既存のLPの双対を回復しつつ、学習時の非凸バックプロパゲーションの懸念を回避する制約のない双対を提供する。
• 層ごとに分離可能な構造は、サブグラデント法による効率的な凸最適化を可能にし、大規模なネットワークへと拡張できる。
• 単一隠れ層ネットワークに対する証明可能な厳密性保証を持つ特殊検証アルゴリズムが開発された。
• このアプローチは、MNISTとCIFAR-10における infinity-ノルム摂動下の対実装誤差率に関して最先端の検証済み境界を達成し、離散的または組み合わせ的入力制約も扱える。
• MNIST、CIFAR、GitHub分類器の安定性タスク、複雑な数字合計タスクに関する実験は、厳密な境界と既存手法との有利な比較を実証する（適用可能な場合）。