[論文レビュー] Gradient Methods Provably Converge to Non-Robust Networks

Gal Vardi, Gilad Yehudai+1 more|arXiv (Cornell University)|Feb 9, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、深さ2のReLUネットワークにおいて、ロジスティック損失または指数型損失で学習した勾配フローが、同じ訓練データに対してロバストな分類器が存在する場合でさえも、非ロバストなモデルに収束することを証明している。主な結果は、これらのネットワークにおけるマージン最大化への暗黙的なバイアスが、本質的に adversarial vulnerability を引き起こすことを示しており、O(1) または Õ(d¹ /  4) のサイズの摂動が、入力がほぼ直交的であるような弱いデータ仮定のもとでも、すべての予測を反転させるのに十分である。

ABSTRACT

Despite a great deal of research, it is still unclear why neural networks are so susceptible to adversarial examples. In this work, we identify natural settings where depth-$2$ ReLU networks trained with gradient flow are provably non-robust (susceptible to small adversarial $\ell_2$-perturbations), even when robust networks that classify the training dataset correctly exist. Perhaps surprisingly, we show that the well-known implicit bias towards margin maximization induces bias towards non-robust networks, by proving that every network which satisfies the KKT conditions of the max-margin problem is non-robust.

研究の動機と目的

• 勾配ベースの訓練によってReLUネットワークが非ロバストなモデルを生成する理由を説明すること。
• 勾配フローの暗黙のバイアス（特にマージン最大化への傾向）が、深さ2のReLUネットワークにおける adversarial vulnerability を引き起こすかどうかを調査すること。
• 勾配フローがロバストな解が可能であるにもかかわらず非ロバストな解に収束する理論的条件を確立すること。
• さまざまなデータ構成下で、訓練データセット全体の予測を反転させるために必要な adversarial パーティクルのサイズを分析すること。
• 全データセットのサイズではなく、マージンを達成するサブセットのサイズに着目することで、小さなデータセットにとどまらない理論的結果を拡張すること。

提案手法

• 指数型またはロジスティック損失で学習された深さ2のReLUネットワークにおける勾配フローの理論的分析。
• 同次モデルにおける勾配フローがパラメータ空間におけるマックスマージン問題のKKT点に収束することを既知の結果として活用。
• 与えられたデータ仮定のもとで、マックスマージン問題のすべてのKKT解が本質的に非ロバストであることを証明。
• マージンを支える例の和に沿った1つの摂動ベクトルを構築することで、adversarial なロバストネスを分析。
• 内積構造とノルムスケーリングに基づく幾何的議論を用いて、ラベルを反転させるために必要な最小摂動サイズを評価。
• 全データセットのサイズではなく、最大マージンを達成する例のサブセットのサイズに制限を設けることで、より大きなデータセットへの結果の拡張を図る。

実験結果

リサーチクエスチョン

• RQ1 深さ2のReLUネットワークを標準的な損失で学習した勾配フローが、訓練データに対してロバストな分類器が存在する場合でさえも、非ロバストなモデルに収束するか？
• RQ2 勾配フローにおけるマージン最大化への暗黙のバイアスが、これらのネットワークにおける adversarial vulnerability の根本的原因であるか？
• RQ3 このようなネットワークにおいて、すべての訓練例の予測を反転させるために必要な最小サイズの adversarial パーティクルは何か？
• RQ4 入力がほぼ直交的である仮定のもとで、データ次元数とサンプル数が増加するに従い、訓練済みネットワークのロバストネスはどのように変化するか？
• RQ5 全データセットのサイズではなく、マージンを達成するサブセットのサイズに着目することで、理論的結果を小さなデータセットにとどまらず拡張可能か？

主な発見

• m = Θ(d) 個の例と、max_i≠j |⟨xi,xj⟩| = O(1) を満たすデータセットでは、勾配フローがすべての予測を反転させるサイズ O(1) の adversarial パーティクルを持つネットワークに収束する。
• m = Õ(√d) 個の例が半径 √d の球面上で一様分布に従って独立同分布に抽出される場合、すべてのラベルを反転させるために Õ(d¹ /  4) のサイズの摂動で十分である。
• 同じ1つの摂動ベクトルが、すべてのマージンを支える例のラベルを反転させることができ、訓練セット全体に対するユニバーサル adversarial 攻撃を示している。
• 最小摂動サイズは、√d よりも著しく小さく、これは単にラベルを反転させるために必要な閾値であるため、非自明なロバストネスの失敗を示している。
• ネットワークの幅は adversarial ロバストネスにほとんど影響を及ぼさず、100から8000にわたる幅の範囲でも摂動サイズはほぼ一定のまま維持される。
• 全データセットが大きくても、最大マージンを達成する例のサブセットのサイズが有界であれば、理論的結果は成立する。