[論文レビュー] Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition

Yaodong Yu, Zitong Yang+3 more|arXiv (Cornell University)|Mar 17, 2021

Adversarial Robustness in Machine Learning参考文献 86被引用数 11

ひとこと要約

この論文は、バイアス・バリアンス分解を用いて、敵対的に訓練されたモデルの一般化ギャップを調査し、敵対的摂動半径εとともにバイアスが単調に増加する一方で、バリアンスがロバストな補間閾値付近でピークに達することを明らかにした。予想に反して一峰性を示すバリアンスの挙動は、敵対的ロバストネスの理論的説明を評価するための重要な診断ツールを提供する。

ABSTRACT

Adversarially trained models exhibit a large generalization gap: they can interpolate the training set even for large perturbation radii, but at the cost of large test error on clean samples. To investigate this gap, we decompose the test risk into its bias and variance components and study their behavior as a function of adversarial training perturbation radii ($\varepsilon$). We find that the bias increases monotonically with $\varepsilon$ and is the dominant term in the risk. Meanwhile, the variance is unimodal as a function of $\varepsilon$, peaking near the interpolation threshold for the training set. This characteristic behavior occurs robustly across different datasets and also for other robust training procedures such as randomized smoothing. It thus provides a test for proposed explanations of the generalization gap. We find that some existing explanations fail this test--for instance, by predicting a monotonically increasing variance curve. This underscores the power of bias-variance decompositions in modern settings-by providing two measurements instead of one, they can rule out more explanations than test accuracy alone. We also show that bias and variance can provide useful guidance for scalably reducing the generalization gap, highlighting pre-training and unlabeled data as promising routes.

研究の動機と目的

• 敵対的訓練されたモデルにおいて、ロバストな訓練誤差はほぼゼロに達するが、クリーンデータにおけるテスト誤差が高くなるという、大きな一般化ギャップの原因を理解すること。
• 敵対的摂動半径εの関数として、バイアスとバリアンスがどのように変化するかを分析すること。
• 既存の一般化ギャップに関する理論的説明が、観察されたバイアス・バリアンスのダイナミクスと整合しているかどうかを評価すること。
• 観察されたバイアス・バリアンスのパターンが成り立つまたは崩壊する条件を特定し、モデル設計および一般化の向上に役立てる。

提案手法

• 交差エントロピー損失とモデル重みの平均化による期待対数尤度を用いて、テストリスクをバイアスとバリアンスの成分に実験的に分解する。
• バイアスを真のクラス確率と平均予測確率の期待的差異として計算し、バリアンスを期待対数確率の負の対数正規化として計算する。
• ℓ∞-敵対的訓練およびランダムスムージングを用いて複数のデータセット（例：CIFAR-10）で訓練されたモデルに分解を適用する。
• モデルの種類、データ次元、ノイズ注入戦略（例：固定ノイズ対適応的ノイズ）を変化させることで、観察されたパターンのロバストネスをテストする。
• バイアス・バリアンスの挙動を診断基準として用い、敵対的訓練の簡略化された概念的モデルの妥当性を検証または否定する。
• 論理回帰モデルと高次元モデルを分析することで、非線形性、データ次元、適応的ノイズがバイアスとバリアンスに与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練されたモデルにおけるバイアスは、摂動半径εの関数としてどのように変化するか？
• RQ2 敵対的訓練されたモデルにおけるバリアンスはεとともにどのように変化し、一峰性のパターンを示すか？
• RQ3 バリアンスのピークは、モデルがもはや訓練データをロバストに補間しなくなる最小のε、すなわちロバスト補間閾値付近に一貫して現れるか？
• RQ4 観察されたバイアス・バリアンスのパターンは、異なるデータセット、モデルアーキテクチャ、およびランダムスムージングのようなロバスト訓練手法においてもロバストか？
• RQ5 バイアス・バリアンス分解は、敵対的一般化ギャップに関する理論的説明の妥当性を評価するための診断ツールとして機能できるか？

主な発見

• バイアスは摂動半径εとともに単調に増加し、研究されたすべてのデータセットとモデルでテストリスクを支配する。
• バリアンスはεに関して一峰性を示し、モデルがもはや訓練データをロバストに補間しなくなる最小のε、すなわちロバスト補間閾値付近でピークに達する。
• 一峰性のバリアンスパターンは、複数のデータセットおよびロバスト訓練手法（例：ミニバッチごとに独立したガウスノイズを用いたランダムスムージング）にわたりロバストである。
• ノイズをエポック全体で固定した場合にはパターンが崩れるため、攻撃の動的性質が観察された挙動に不可欠であることが示された。
• 低次元モデルでは観察されたバイアス・バリアンスのパターンは成り立たないため、高次元データの幾何構造がこの現象の中心的役割を果たしていることが示唆された。
• 観察された挙動は、一部の既存の説明（例：単調に増加するバリアンスを予測する説明）を無効にし、バイアス・バリアンス分解が診断ツールとしての強力な力を有することを示している。