[論文レビュー] Stability Analysis and Generalization Bounds of Adversarial Training

Jiancong Xiao, Yanbo Fan+3 more|arXiv (Cornell University)|Oct 3, 2022

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

この論文は、敵対的訓練の安定性を分析するため、$η$-近似的平滑性を導入し、非滑らかな敵対的損失関数に対するSGDの一般化境界を導出する。$ε$が増加するに従い、ロバストなテスト精度が$Ω(\epsilon\sqrt{T})$から$\mathcal{O}(\epsilon T)$の間の割合で低下することを示し、ロバストな過学習を説明するとともに、エポック早期停止やSWAなどの技術が理論的に安定性を高めることを検証する。

ABSTRACT

In adversarial machine learning, deep neural networks can fit the adversarial examples on the training dataset but have poor generalization ability on the test set. This phenomenon is called robust overfitting, and it can be observed when adversarially training neural nets on common datasets, including SVHN, CIFAR-10, CIFAR-100, and ImageNet. In this paper, we study the robust overfitting issue of adversarial training by using tools from uniform stability. One major challenge is that the outer function (as a maximization of the inner function) is nonsmooth, so the standard technique (e.g., hardt et al., 2016) cannot be applied. Our approach is to consider $η$-approximate smoothness: we show that the outer function satisfies this modified smoothness assumption with $η$ being a constant related to the adversarial perturbation $ε$. Based on this, we derive stability-based generalization bounds for stochastic gradient descent (SGD) on the general class of $η$-approximate smooth functions, which covers the adversarial loss. Our results suggest that robust test accuracy decreases in $ε$ when $T$ is large, with a speed between $Ω(ε\sqrt{T})$ and $\mathcal{O}(εT)$. This phenomenon is also observed in practice. Additionally, we show that a few popular techniques for adversarial training (e.g., early stopping, cyclic learning rate, and stochastic weight averaging) are stability-promoting in theory.

研究の動機と目的

• 敵対的訓練におけるロバストな過学習を理論的に説明するための理論的ギャップを埋めること。これは、訓練精度が向上する一方でテスト精度が低下する現象である。
• 標準的な一様安定性ツールが扱えない非滑らかな敵対的損失関数のための安定性解析フレームワークを開発すること。
• 敵対的訓練をカバーする、$η$-近似的に滑らかな関数に対するSGDの一般化境界を導出すること。
• 人気のある正則化手法（例：エポック早期停止、SWA、周期的学習率）が安定性を高めることを理論的に検証すること。
• ロバストな一般化ギャップが摂動サイズ$ε$とともに増大することを示し、実際の性能劣化を説明すること。

提案手法

• 敵対的訓練における外側関数の非滑らかさに対処するため、標準的平滑性の緩和として$η$-近似的平滑性を導入する。
• 敵対的損失が、内側関数の勾配リプシッツ定数と線形に依存する$η$に依存して$η$-近似的に滑らかであることを証明する。
• Hardtら（2016年）およびBassilyら（2020年）の先行研究を拡張し、$η$-近似的に滑らかな関数に対するSGDの安定性に基づく一般化境界を導出する。
• 導出した境界を敵対的訓練に適用し、一般化ギャップが$ε$および$T$に依存することを示す。
• 正則化手法（エポック早期停止、SWA、周期的学習率）の影響を分析し、境界内の安定性関連項を減少させることを示す。
• 凸および強凸な設定を用いて、ロバストな過学習現象とその$ε$および$T$依存性を示す。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練において、良好な訓練性能が得られているにもかかわらず、なぜロバストな過学習が発生するのか？
• RQ2 敵対的損失の非滑らかさを考慮すると、標準的一様安定性ツールは敵対的訓練における一般化ギャップを説明できるか？
• RQ3 摂動サイズ$ε$は、敵対的訓練の一般化性能にどのように影響するか？
• RQ4 エポック早期停止やSWAなどの一般的な正則化手法は、敵対的訓練における安定性および一般化を向上させるか？
• RQ5 例えば$η$-近似的平滑性のような修正された平滑性仮定は、非滑らかな敵対的目的関数に対する一般化境界を可能にするか？

主な発見

• 敵対的損失は、$η = \mathcal{O}(\epsilon \cdot L_z)$として$η$-近似的に滑らかであり、ここで$L_z$は内側関数の勾配リプシッツ定数である。
• $η$-近似的に滑らかな関数に対するSGDの一般化境界が導出され、$ε$および$T$に依存することが示された。
• ロバストなテスト精度は、$ε$が増加するに従い、$Ω(\epsilon\sqrt{T})$から$\mathcal{O}(\epsilon T)$の間の割合で低下し、ロバストな過学習を説明する。
• エポック早期停止、周期的学習率、確率的重み平均化といった手法が理論的に安定性を高めることを示し、一般化ギャップを低減することが分かった。
• 強凸な場合、一般化ギャップは$\mathcal{O}(\eta + 1/n + 1/T)$で有界であり、強い凸性下ではロバストな過学習が消失するが、$\mathcal{O}(\eta)$の分だけ標準訓練より性能が劣る。
• 理論的分析は実験的観察と一致する：$ε$が大きく、$T$が長いほど、ロバストな過学習が顕著になる。