[論文レビュー] Scaling provable adversarial defenses

Eric Wong, Frank R. Schmidt+2 more|arXiv (Cornell University)|May 31, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用数 120

ひとこと要約

この論文は、モジュール型デュアルを用いたスキップ接続を持つ大規模ネットワークに対する証明可能な頑健性訓練を拡張し、ランダム投影による線形スケーリング境界計算、そして証明可能な頑健性を向上させるカスケードモデルを導入して、l-∞ アタック下での頑健性を改善する。

ABSTRACT

Recent work has developed methods for learning deep network classifiers that are provably robust to norm-bounded adversarial perturbation; however, these methods are currently only possible for relatively small feedforward networks. In this paper, in an effort to scale these approaches to substantially larger models, we extend previous work in three main directions. First, we present a technique for extending these training procedures to much more general networks, with skip connections (such as ResNets) and general nonlinearities; the approach is fully modular, and can be implemented automatically (analogous to automatic differentiation). Second, in the specific case of $\ell_\infty$ adversarial perturbations and networks with ReLU nonlinearities, we adopt a nonlinear random projection for training, which scales linearly in the number of hidden units (previous approaches scaled quadratically). Third, we show how to further improve robust error through cascade models. On both MNIST and CIFAR data sets, we train classifiers that improve substantially on the state of the art in provable robust adversarial error bounds: from 5.8% to 3.1% on MNIST (with $\ell_\infty$ perturbations of $ε=0.1$), and from 80% to 36.4% on CIFAR (with $\ell_\infty$ perturbations of $ε=2/255$). Code for all experiments in the paper is available at https://github.com/locuslab/convex_adversarial/.

研究の動機と目的

• より大規模で現代的なアーキテクチャに対するノルム境界付き敵対的摂動に対するスケーラブルな証明可能頑健性を動機づける。
• スキップ接続と一般的活性化を持つネットワークの敵対的損失を上界するためのモジュラー双対関数フレームワークを開発する。
• 非線形ランダム投影を用いてl-∞摂動の境界計算を線形時間で達成する。
• 難易度の高い例を認証するカスケード（アンサンブル）モデルを用いて頑健性を向上させる。
• MNISTとCIFAR-10において、従来の証明可能防御より顕著な改善を示す。

提案手法

• 層の演算のFenchel共役を用いてモジュラー双対層を組み合わせてデュアルネットワークを構築する。
• フィードフォワード構造だけでなく、スキップ接続や任意の活性化を持つネットワークへ一般化する。
• 非線形ランダム投影を用いて敵対的境界を推定し、ReLUを持つl-∞摂動に対して隠れ層ユニットの線形スケーリングを達成する。
• 線形演算子とReLU活性化（および他の活性化は参照を通じて）に対する具体的なデュアル層を提供し、デュアルネットワークの自動構築を可能にする。
• 後段の分類器が前段階で認証されていない例のみを認証するように訓練するカスケード型アンサンブル戦略を導入する。
• テスト時に厳密な確率的境界を報告し、厳密な境界計算と射影（近似）境界計算の比較を論じる。

実験結果

リサーチクエスチョン

• RQ1 証明可能な頑健性境界は、単純なフィードフォワード構造を超えて、スキップ接続や任意の活性化を持つネットワークにも拡張できるか。
• RQ2 l-∞摂動の下で大規模ネットワークの頑健境界を、二乗スケーリングなしに効率的に計算するにはどうすればよいか。
• RQ3 頑健なモデルのカスケードを統合することで、単一モデル防御を超える証明可能な頑健性が向上するか。
• RQ4 ネットワークサイズを大きくし、投影を用いるときのMNISTとCIFAR-10における検証済み頑健誤差の経験的利得はどれか。
• RQ5 頑健性境界と訓練効率の観点で、これらの手法は従来の証明可能防御とどのように比較されるか。

主な発見

• MNISTの認証済み頑健誤差はepsilon = 0.1で5.8%から3.1%へ改善。
• CIFAR-10ではepsilon = 2/255で頑健誤差が80%から36.4%へ改善。
• MNISTでは大規模モデルが非カスケード訓練で3.7%の頑健誤差を達成（epsilon = 0.1）、カスケードで3.1%に低下。
• CIFAR-10ではResNetが46.1%の頑健誤差（epsilon = 2/255）を達成し、カスケードで36.4%に低下。
• カスケードは名目上の誤差を増加させるが頑健誤差を改善し、頑健性と精度のトレードオフを提供する。
• 50次元のランダム投影は、MNISTで厳密境界と同等のテスト性能を提供し、 substantial speedupsを提供する。