[論文レビュー] Manifold Regularization for Adversarial Robustness

Charles Jin, Martin Rinard|arXiv (Cornell University)|Mar 9, 2020

Adversarial Robustness in Machine Learning参考文献 11被引用数 7

ひとこと要約

本論文は、敵対的例の生成を必要とせずに、データ多様体上の局所的安定性を強制することで、深層ニューラルネットワークにおける敵対的ロバストネスを向上させる多様体正則化手法を提案する。$ε = 8/255$ $ε_\infty$ パーティクルノイズ下でCIFAR-10において70%の最先端のロバスト正答率を達成し、標準の敵対的訓練と比較して訓練速度が桁違いに速い。

ABSTRACT

Manifold regularization is a technique that penalizes the complexity of learned functions over the intrinsic geometry of input data. We develop a connection to learning functions which are locally stable, and propose new regularization terms for training deep neural networks that are stable against a class of local perturbations. These regularizers enable us to train a network to state-of-the-art robust accuracy of 70% on CIFAR-10 against a PGD adversary using $\ell_\infty$ perturbations of size $\epsilon = 8/255$. Furthermore, our techniques do not rely on the construction of any adversarial examples, thus running orders of magnitude faster than standard algorithms for adversarial training.

研究の動機と目的

• 敵対的例の生成に依存せずに、深層ニューラルネットワークの敵対的ロバストネスを向上させること。
• 多様体正則化と学習関数の局所的安定性の間の関係を明確にすること。
• 局所的摂動に対してロバスト性を高める効率的な正則化技術を開発すること。
• 最小限の計算負荷で、$ε_\infty$ パーティクルノイズ下でCIFAR-10において最先端のロバスト正答率を達成すること。

提案手法

• 入力データの内在的幾何構造上の関数の複雑さをペナルティ化する新しい正則化項を導入する。
• データの多様体構造を活用して、学習関数における局所的安定性を強制する。
• 明示的な敵対的訓練を伴わずに、局所的摂動を暗黙的に捉える正則化部品を設計する。
• 標準的なバックプロパゲーション中に正則化項を適用し、高価な敵対的例の生成を回避する。
• データ多様体を用いて滑らかさの事前分布を定義し、小さな局所的摂動に一般化しやすいようにする。
• 幾何的インダクティブバイアスを用いてロバストネスを向上させつつ、高い自然正答率を維持する。

実験結果

リサーチクエスチョン

• RQ1 敵対的例の生成を伴わずに、多様体正則化を効果的に敵対的ロバストネス向上に応用できるか？
• RQ2 データ多様体上での局所的安定性の強制が、$ε_\infty$ パーティクルノイズに対するロバストネスをどのように向上させるか？
• RQ3 ロバスト正答率と訓練速度の観点から、標準の敵対的訓練と比較して、多様体正則化の性能はいかがなっているか？
• RQ4 提案された正則化項は、異なるデータ分布やネットワークアーキテクチャに一般化可能か？
• RQ5 ロバストネス向上を達成しつつ、自然正答率を高い水準で維持できるか？

主な発見

• 提案手法は、$ε = 8/255$ $ε_\infty$ パーティクルノイズ下でCIFAR-10において70%のロバスト正答率を達成し、最先端の性能を再現した。
• 敵対的例の生成を回避するため、提案された正則化を用いた訓練は、標準の敵対的訓練よりも著しく高速である。
• データ多様体から導出された幾何的事前分布を用いて、局所的安定性を強制することで、ロバストネスが向上した。
• このアプローチは高い自然正答率を維持しており、ロバストネスと通常の正答率の間の良好なトレードオフを示している。
• 明示的な敵対的データを必要としないため、計算負荷が低減され、正則化項が効果的であることが確認された。