[論文レビュー] The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization

Yifei Min, Lin Chen+1 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用数 30

ひとこと要約

本研究は、敵対的に頑健なモデルの一般化性能は、敵対者の強さと損失関数に応じて、訓練データを増やすと悪化することも、改善することも、あるいはダブルディセントを引き起こすこともあり得ることを示している。

ABSTRACT

Adversarial training has shown its ability in producing models that are robust to perturbations on the input data, but usually at the expense of decrease in the standard accuracy. To mitigate this issue, it is commonly believed that more training data will eventually help such adversarially robust models generalize better on the benign/unperturbed test data. In this paper, however, we challenge this conventional belief and show that more training data can hurt the generalization of adversarially robust models in the classification problems. We first investigate the Gaussian mixture classification with a linear loss and identify three regimes based on the strength of the adversary. In the weak adversary regime, more data improves the generalization of adversarially robust models. In the medium adversary regime, with more training data, the generalization loss exhibits a double descent curve, which implies the existence of an intermediate stage where more training data hurts the generalization. In the strong adversary regime, more data almost immediately causes the generalization error to increase. Then we move to the analysis of a two-dimensional classification problem with a 0-1 loss. We prove that more data always hurts the generalization performance of adversarially trained models with large perturbations. To complement our theoretical results, we conduct empirical studies on Gaussian mixture classification, support vector machines (SVMs), and linear regression.

研究の動機と目的

• 敵対的訓練が未摺動テストデータに対する一般化へ与える影響を動機づけ、分析する。
• データ量の増加が一般化に対して有効、悪化、またはダブルディセントをもたらす領域を特定する。
• 損失関数（線形および0-1）とモデル設定（ガウス混合、マンハッタンモデル）間の差異を特徴づける。
• 複数のモデル（SVM、線形回帰、ガウス混合）にまたがる理論的結果と経験的研究を提供する。

提案手法

• 無限ノルムのノイズ領域内での敵対的摂動を用いて頑健な分類器を定義し、一般化誤差 L_n を分析する。
• 線形損失を用いたガウス混合分類を研究し、3つの敵対者領域と位相遷移（定理1）を確立する。
• 0-1損失を分析するためにマンハッタンモデルを導入し、弱/強の領域挙動を証明する（定理4）。
• 0-1損失を用いたガウス混合、SVM、線形回帰の経験的実験を行い、データサイズの効果を観察する。
• 特別なケースの挙動を説明するための系を用いる（例：平均と分散が等しい場合）。

実験結果

リサーチクエスチョン

• RQ1 敵対的に頑健なモデルにおいて、どの条件下で訓練データを増やすと一般化が改善されるのか。
• RQ2 敵対的頑健性がデータサイズの増加とともにダブルディセント現象を生み出すことがあるか。
• RQ3 異なる損失関数（線形 vs 0-1）と問題設定が、敵対的訓練下のデータサイズによる一般化挙動にどう影響するか。
• RQ4 ガウス混合で観察された経験的傾向は、SVMや線形回帰にも一般化するか。
• RQ5 敵対者の強さの閾値は、弱・中・強の領域をどのように区切るか。

主な発見

• 3つの敵対者領域が存在する：弱い敵対者ではデータを増やすほど常に一般化が改善される；中程度の敵対者ではダブルディセントが起こる可能性がある；強い敵対者ではデータを増やすと一般化が悪化する。
• 線形損失を用いたガウス混合では、データが増えるにつれて単調な改善、ダブルディセント、単調な悪化をもたらす閾値 δ1, δ2 が存在し、定理1となる。
• マンハッタンモデルの0-1損失の下で、頑健な分類は小さな摂動 ε<2μ でゼロの一般化誤差を持ち、摂動が大きい場合にはデータが増えると一般化誤差が増加する（定理4）。
• ガウス混合、SVM、線形回帰の経験的結果は、理論的な弱/強領域挙動と一致する傾向を示し、より強い敵対者の下でデータを増やすとテスト損失が増加する事例を含む。
• 本研究の知見は、敵対的訓練が必ずしも無摂変テストデータの一般化を改善するとは限らず、現行の枠組みはデュアルな頑健性と一般化を同時に達成する新たなアイデアを必要とする可能性を示唆している。