[論文レビュー] Evaluating Robustness of Neural Networks with Mixed Integer Programming
この論文は、Piecewise-linearニューラルネットワークの頑健性検証をMILPとして定式化し、 大幅な速度向上を実現し、100k以上のReLUsを含むネットワークとepsilon=0.1でのMNISTの厳密な敵対的精度を検証可能にしている。
Neural networks have demonstrated considerable success on a wide variety of real-world problems. However, networks trained only to optimize for training accuracy can often be fooled by adversarial examples - slightly perturbed inputs that are misclassified with high confidence. Verification of networks enables us to gauge their vulnerability to such adversarial examples. We formulate verification of piecewise-linear neural networks as a mixed integer program. On a representative task of finding minimum adversarial distortions, our verifier is two to three orders of magnitude quicker than the state-of-the-art. We achieve this computational speedup via tight formulations for non-linearities, as well as a novel presolve algorithm that makes full use of all information available. The computational speedup allows us to verify properties on convolutional networks with an order of magnitude more ReLUs than networks previously verified by any complete verifier. In particular, we determine for the first time the exact adversarial accuracy of an MNIST classifier to perturbations with bounded $l_\infty$ norm $ε=0.1$: for this classifier, we find an adversarial example for 4.38% of samples, and a certificate of robustness (to perturbations with bounded norm) for the remainder. Across all robust training procedures and network architectures considered, we are able to certify more samples than the state-of-the-art and find more adversarial examples than a strong first-order attack.
研究の動機と目的
- 実証的な攻撃を超えた原理的な頑健性評価を動機づける。
- ピースワイズ線形ネットワークの頑健性検証を完全な MILP 問題として定式化する。
- 巨大なネットワークへ拡張するための厳密な ReLU と max-function の定式化と、漸進的な境界緊縮プリソルブを開発。
- MNISTとCIFAR-10に渡って頑健性を証明し敵対的例を見つける能力を示す。
- 頑健検証のさらなる研究を促進するための MIPVerify のオープンソースツールを提供。
提案手法
- 入力ドメイン内の敵対ポリトープに対する実現可能性問題として頑健性をモデル化。
- ピースワイド線形ネットワークの要素（ReLU, max, 線形層）を厳密な定式化を用いてMILP制約として表現。
- 解く前に変数境界を tighten する漸進的な境界緊縮（ia and lp）を導入。
- 入力ドメイン G(x) の制限と非対称境界を活用して非線形性を削減。
- SMTベースの検証器（Reluplex）や他の検証器と比較し、顕著なスピードアップを示す。
- コードは https://github.com/vtjeng/MIPVerify.jl で提供。
実験結果
リサーチクエスチョン
- RQ1境界付き摂動の下で、ConvNetやResNetを含む大規模なピースワイル線形ネットワークの頑健性を効率的に認証できる完全なMILP検証器は存在するか？
- RQ2MILP検証器は、速度と頑健性証明の厳密さの点で、SMTベースおよび不完全検証器とどのように比較されるか？
- RQ3epsilonが0.1のとき、l_infinity摂動下でMNISTに対して達成可能な正確な敵対的精度はどれくらいで、PGD等の攻撃とどのように比較されるか？
- RQ4頑健な訓練手法とネットワークアーキテクチャは、検証可能性と頑健性証明にどのように影響するか？
- RQ5MNISTとCIFAR-10全体で頑健性を検証する際、検証時間と規模を決定づける要因は何か？
主な発見
| データセット | ネットワーク | ε | テストエラー | 敵対的エラーの証明境界（下限） | 敵対的エラーの証明境界（上限） | ギャップなし？ | 平均時間 / 秒（サンプルあたり） |
|---|---|---|---|---|---|---|---|
| MNIST | LP d - cnn b | 0.1 | 1.19% | 2.62% | 2.73% | 4.45% [1] | 46.33 |
| MNIST | LP d - cnn a | 0.1 | 1.89% | 4.11% | 4.38% | 4.38% | 3.52 |
| MNIST | Adv- cnn a | 0.1 | 0.96% | 4.10% | 4.21% | — | 135.74 |
| MNIST | Adv- mlp b | 0.1 | 4.02% | 9.03% | 9.74% | 15.41% | 3.69 |
| MNIST | SDP d - mlp a | 0.1 | 4.18% | 11.51% | 14.36% | 34.77% | 312.43 |
| MNIST | LP d - cnn a | 0.2 | 4.23% | 9.54% | 10.68% | 17.50% | 7.32 |
| MNIST | LP d - cnn b | 0.3 | 11.16% | 19.70% | 24.12% | 41.98% | 98.79 |
| MNIST | LP d - cnn a | 0.3 | 11.40% | 22.70% | 25.79% | 35.03% | 5.13 |
| MNIST | LP d - cnn a | 0.4 | 26.13% | 39.22% | 48.98% | 62.49% | 5.07 |
| CIFAR-10 | LP d - cnn a | 2/255 | 39.14% | 48.23% | 49.84% | 53.59% [1] | 22.41 |
| CIFAR-10 | LP d - res | 8/255 | 72.93% | 76.52% | 77.29% | 78.52% [1] | 15.23 |
- MILP検証器は最小敵対的歪みタスクでReluplexより2桁〜3桁の速さ。
- 100,000を超えるReLUを含むネットワークを検証可能、畳み込み層と残差層を含む。
- MNISTでepsilon=0.1、正確な敵対的精度を得る：サンプルの4.38%に敵対例、残りには頑健性証明。
- MNISTとCIFAR-10全体で、従来の最先端法より多くのサンプルを証明し、より多くの敵対例を見つける。
- 従来より厳密な下限/上限境界を敵対エラーに対して提供し、より大規模なアーキテクチャへ拡張可能（例: LP_d_res 107,496 ユニット）。
- 著者は結果を再現・拡張するオープンソースツール（MIPVerify.jl）を提供。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。