[論文レビュー] MixTrain: Scalable Training of Formally Robust Neural Networks.

Shiqi Wang, Yizheng Chen+2 more|arXiv (Cornell University)|Nov 6, 2018

Adversarial Robustness in Machine Learning参考文献 56被引用数 74

ひとこと要約

MixTrainは、計算コストを最小限に抑えつつ、検証可能に強いニューラルネットワーク学習をスケーラブルに拡大する2つの効率的技術——確率的ロバスト近似と動的ミックストレーニング——を導入する。ランダムなデータサブサンプリングと適応的損失バランスを用いることで、ImageNet-200 において最大95.2%の検証可能ロバスト精度を達成し、最先端の検証可能ロバスト手法に比べ15倍速く、敵対的ロバスト手法に比べ3倍速い学習速度を実現する。

ABSTRACT

Making neural networks robust against adversarial inputs has resulted in an arms race between new defenses and attacks. The most promising defenses, adversarially robust training and verifiably robust training, have limitations that restrict their practical applications. The adversarially robust training only makes the networks robust against a subclass of attackers and we reveal such weaknesses by developing a new attack based on interval gradients. By contrast, verifiably robust training provides protection against any L-p norm-bounded attacker but incurs orders of magnitude more computational and memory overhead than adversarially robust training. We propose two novel techniques, stochastic robust approximation and dynamic mixed training, to drastically improve the efficiency of verifiably robust training without sacrificing verified robustness. We leverage two critical insights: (1) instead of over the entire training set, sound over-approximations over randomly subsampled training data points are sufficient for efficiently guiding the robust training process; and (2) We observe that the test accuracy and verifiable robustness often conflict after certain training epochs. Therefore, we use a dynamic loss function to adaptively balance them for each epoch. We designed and implemented our techniques as part of MixTrain and evaluated it on six networks trained on three popular datasets including MNIST, CIFAR, and ImageNet-200. Our evaluations show that MixTrain can achieve up to $95.2\%$ verified robust accuracy against $L_\infty$ norm-bounded attackers while taking $15$ and $3$ times less training time than state-of-the-art verifiably robust training and adversarially robust training schemes, respectively. Furthermore, MixTrain easily scales to larger networks like the one trained on ImageNet-200, significantly outperforming the existing verifiably robust training methods.

研究の動機と目的

• 検証可能ロバスト学習の高い計算コストとメモリ消費量を低減し、強力なロバスト性保証にもかかわらず実用的利用が制限される状況を是正すること。
• 特に区間勾配に基づく攻撃に脆弱である敵対的ロバスト学習の課題を克服すること。
• ImageNet-200 などの大規模データセットにおいて、従来の方法がスケーラビリティの問題で失敗する中で、検証可能ロバストネットワークの効率的学習を可能にすること。
• 訓練中にテスト精度と検証可能ロバスト性のトレードオフを動的に損失関数を調整することでバランスさせること。

提案手法

• 確率的ロバスト近似は、全バッチの過剰近似をランダムにサブサンプルされた訓練点に基づく過剰近似に置き換えることで、計算コストを低減しつつロバスト性保証を維持する。
• 動的ミックストレーニングは、観察された性能的矛盾に基づき、訓練エポックごとにテスト精度と検証可能ロバスト性をバランスさせる適応的損失関数を導入する。
• この手法は区間勾配を活用して敵対的ロバストモデルの弱みを同定し、より強固な訓練戦略の設計を支援する。
• ネットワーク出力の区間ベースの境界を用いることで検証可能ロバスト性を維持し、すべてのL∞-ノルムで有界な敵対的摂動に対して形式的保証を提供する。
• これらの技術を統合した訓練パイプラインは、既存の検証可能ロバスト学習パイプラインへの最小限の変更で、エンドツーエンドの訓練を可能にする統一されたフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet-200 などの大規模モデルやデータセットに対して、ロバスト性保証を損なわずに検証可能ロバスト学習をスケーラブルに可能にすることができるか？
• RQ2 過剰近似のための訓練データのサブサンプリングによって、検証可能ロバスト学習の計算オーバーヘッドを低減できるか、かつロバスト性が損なわれないか？
• RQ3 訓練中に損失関数を動的に調整することで、テスト精度と検証可能ロバスト性のトレードオフが改善されるか？
• RQ4 提案手法は、最先端の敵対的および検証可能ロバスト学習手法と比較して、効率性とロバスト性において優れているか？

主な発見

• MixTrainは、L∞-ノルムで有界な敵対的摂動に対して、ImageNet-200 で最大95.2%の検証可能ロバスト精度を達成し、従来の検証可能ロバスト学習手法を大きく上回る。
• MixTrainを用いた学習時間は、最先端の検証可能ロバスト学習手法に比べ15倍速く、大規模データセットへの実用的適用を可能にする。
• MixTrainは、敵対的ロバスト学習に比べて学習時間を3倍短縮しながらも、より強いロバスト性保証を維持する。
• この手法は、計算制約により従来の検証可能ロバスト学習アプローチが失敗する大規模なネットワーク、特にImageNet-200で学習されたネットワークに対してもスケーラブルに適用可能である。
• 動的ミックストレーニングは、各エポックごとに損失関数を適応的にバランスさせることで、テスト精度と検証可能ロバスト性の衝突を効果的に解消する。