[論文レビュー] More Data Can Expand the Generalization Gap Between Adversarially Robust and Standard Models

Lin Chen, Yifei Min+2 more|arXiv (Cornell University)|Feb 11, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用数 19

ひとこと要約

本稿は、$\varepsilon$-有界な $\pi$-ノルム攻撃下で、訓練データを増加させることにより、敵対的に頑健なモデルと標準モデルの一般化ギャップが逆に広がる可能性があることを示している。ガウス分布、ベルヌーイ分布、および線形回帰モデルを用いた理論的分析により、2つの状態に分かれることが特定された。強い敵対者状態（$\varepsilon$ が大きい）では、データが増えるにつれてギャップは無限に拡大する。弱い状態では、臨界的なデータ閾値を超えるとギャップは最終的になくなるが、その閾値は任意に大きくできる。これらの発見は、頑健な学習においてより多くのデータが一般化を常に改善するという従来の常識に疑問を呈する。

ABSTRACT

Despite remarkable success in practice, modern machine learning models have been found to be susceptible to adversarial attacks that make human-imperceptible perturbations to the data, but result in serious and potentially dangerous prediction errors. To address this issue, practitioners often use adversarial training to learn models that are robust against such attacks at the cost of higher generalization error on unperturbed test sets. The conventional wisdom is that more training data should shrink the gap between the generalization error of adversarially-trained models and standard models. However, we study the training of robust classifiers for both Gaussian and Bernoulli models under $\ell_\infty$ attacks, and we prove that more data may actually increase this gap. Furthermore, our theoretical results identify if and when additional data will finally begin to shrink the gap. Lastly, we experimentally demonstrate that our results also hold for linear regression models, which may indicate that this phenomenon occurs more broadly.

研究の動機と目的

• 訓練データを増加させることで、敵対的頑健モデルと標準モデルの間の一般化ギャップが縮小するかどうかを調査すること。
• 敵対的訓練において、より多くのデータが一般化ギャップを縮小するのではなく拡大する条件を同定すること。
• 異なるデータ分布と敵対者強度における一般化ギャップの挙動を理論的および実験的に検証すること。
• 頑健な機械学習における一般化が常に向上するという従来の信念に挑戦すること。

提案手法

• ガウス分布およびベルヌーイ分布のデータ分布における $\pi$-ノルム有界摂動下で訓練された頑健モデルと標準モデルの理論的分析。
• 敵対者強度（$\varepsilon$）が信号強度に対して相対的に大きい場合に、一般化ギャップが訓練サンプルサイズ $n$ とともに増加または減少する条件の導出。
• 2つの状態間の段階的転移の同定：強い敵対者（ギャップが $n$ とともに増大）と弱い敵対者（閾値を超えるとギャップが最終的に減少）。
• 合成データを用いた線形回帰モデルにおける実験的検証。$\varepsilon$ と $n$ を変化させた結果、段階的転移の存在を確認。
• 異なるデータ状態と敵対者強度においてモデル性能を比較するため、スケーリングされたテスト損失の使用。
• 理論的および実験的設定において、一般化ギャップが $n$ に対して収束する挙動と単調性の分析。

実験結果

リサーチクエスチョン

• RQ1 訓練データサイズを増加させることで、常に敵対的頑健モデルと標準モデルの一般化ギャップが縮小するのか？
• RQ2 どのような条件下で、より多くのデータが一般化ギャップを縮小するのではなく拡大させるのか？
• RQ3 一般化ギャップが減少し始める臨界的なデータ閾値が存在するのか？
• RQ4 敵対者強度（$\varepsilon$）がデータの信号強度に対して相対的に大きい場合、一般化挙動の状態がどのように決定されるのか？
• RQ5 線形回帰モデルにおいて、ギャップが増大するか減少するかの段階的転移は継続するのか？

主な発見

• 強い敵対者状態（$\varepsilon$ が大きい）では、頑健モデルと標準モデルの一般化ギャップは訓練データサイズとともに単調に増大し、$n \to \infty$ で有限の極限に近づく。
• 弱い敵対者状態（$\varepsilon$ が小さい）では、一般化ギャップは $n$ とともに一時的に増大するが、臨界的なデータ閾値を超えると最終的に減少する。この閾値は任意に大きくできる。
• ガウスモデルでは、増大と減少のギャップ挙動の閾値が $\varepsilon$ と信号強度に依存し、任意に大きくできる。これは、より多くのデータが常にギャップを拡大させることを意味する。
• ベルヌーイモデルでは、一般化ギャップは振動的挙動を示すが、敵対者状態に応じて一般的に増大または減少の傾向を示す。
• 線形回帰モデルにおける実験的結果は、同様の段階的転移が存在することを確認している。$\varepsilon$ が大きい場合、頑健モデルのテスト損失は $n$ とともに増加するが、$\varepsilon$ が小さい場合、減少する。
• 弱い敵対者下では、無限大のデータ極限において一般化ギャップはゼロに近づくが、強い敵対者下では、無限大のデータでもゼロから離れたまま保たれる。