[論文レビュー] On the Generalization Properties of Adversarial Training

Yue Xing, Qifan Song+1 more|arXiv (Cornell University)|Aug 15, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用数 10

ひとこと要約

本稿は、線形回帰および二層ニューラルネットワークにおける二乗損失の下で、敵対的訓練の一般化特性を調査し、低次元では非滑らかさがあるにもかかわらず敵対的リスクが最小値に収束することを示している。一方、高次元ではデータの補間が一貫性を損なうが、L1正則化を組み込むことで一貫性のある敵対的ロバスト推定が可能になる。数値的実験により検証されている。

ABSTRACT

Modern machine learning and deep learning models are shown to be vulnerable when testing data are slightly perturbed. Existing theoretical studies of adversarial training algorithms mostly focus on either adversarial training losses or local convergence properties. In contrast, this paper studies the generalization performance of a generic adversarial training algorithm. Specifically, we consider linear regression models and two-layer neural networks (with lazy training) using squared loss under low-dimensional and high-dimensional regimes. In the former regime, after overcoming the non-smoothness of adversarial training, the adversarial risk of the trained models can converge to the minimal adversarial risk. In the latter regime, we discover that data interpolation prevents the adversarially robust estimator from being consistent. Therefore, inspired by successes of the least absolute shrinkage and selection operator (LASSO), we incorporate the L1 penalty in the high dimensional adversarial learning and show that it leads to consistent adversarially robust estimation. A series of numerical studies are conducted to demonstrate how the smoothness and L1 penalization help improve the adversarial robustness of DNN models.

研究の動機と目的

• 最適化収束を超えた一般化性能の分析に焦点を当て、統計的一致性を検討すること。
• 高次元設定におけるデータ補間のための敵対的ロバスト推定器の失敗を解消すること。
• 高次元敵対的学習における一貫性のある推定を達成するためのL1正則化の導入と正当化を提案すること。
• 低次元領域における敵対的リスクの最小値への理論的収束を確立すること。

提案手法

• 敵対的サンプル生成とモデルパラメータ更新の反復的更新を用いた、ミニマックス最適化フレームワークを通じて敵対的訓練を分析する。
• 損失関数の非微分性に対処するため、非滑らかな敵対的攻撃の滑らか化近似を用いる。
• 集中不等式と高次元漸近的解析を用いて、サンプル数および特徴量次元の変化に伴う敵対的リスクの挙動を研究する。
• スパarsityを促進し、高次元設定における一貫性を向上させるために、敵対的訓練の目的関数にL1ペナルティを組み込む。
• 推定誤差の境界を導出するために、サブガウス分布の集中性と制限付き強い凸性といった理論的道具を用いる。
• 深層ニューラルネットワークにおける数値実験を通じて、結果を検証し、滑らかさとL1正則化がロバストネスを著しく向上させることを示している。

実験結果

リサーチクエスチョン

• RQ1 低次元設定では、損失関数の非滑らかさがあるにもかかわらず、敵対的訓練が最小敵対的リスクへの収束を達成できるか？
• RQ2 高次元設定におけるデータ補間が、なぜ敵対的ロバストモデルの推定の一貫性を妨げるのか？
• RQ3 L1正則化が高次元敵対的学習における一貫性を回復できるか？もしそうならば、どのような条件下で可能か？
• RQ4 滑らかさとスパarsityの相互作用が、敵対的訓練モデルの一般化性能にどのように影響するか？
• RQ5 低次元および高次元領域における敵対的推定器の収束性および一貫性に関する理論的保証は、どのようなものか？

主な発見

• 低次元領域では、非滑らかさを滑らか化技術で克服した後、敵対的リスクが最小可能な値に収束することが示された。
• 高次元領域では、データ補間が敵対的ロバスト推定器の一貫性を損なうため、標準的な敵対的訓練では不十分である。
• 敵対的訓練目的関数にL1正則化を組み込むことで、高次元設定において一貫性が回復される。
• 理論的解析により、スパarsityおよび制限付き固有値条件の下で、L1正則化敵対的推定器は高確率で一貫性のある推定を達成することが示された。
• 数値的実験により、滑らかさとL1ペナルティの両方が、深層ニューラルネットワークにおける敵対的ロバストネスを著しく向上させることを確認した。