[論文レビュー] The curse of overparametrization in adversarial training: Precise analysis of robust generalization for random features regression

Hamed Hassani, Adel Javanmard|arXiv (Cornell University)|Jan 13, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、高次元漸近的枠組み下での敵対的訓練を受けるランダム特徴モデルにおけるロバスト一般化の正確な理論的分析を提供する。過パラメータ化—標準的一般化には有益であるが—敵対的摂動への感受性が増加することにより、ロバスト一般化誤差を悪化させることを明らかにし、モデル設計における根本的なトレードオフを確立する。

ABSTRACT

Successful deep learning models often involve training neural network architectures that contain more parameters than the number of training samples. Such overparametrized models have been extensively studied in recent years, and the virtues of overparametrization have been established from both the statistical perspective, via the double-descent phenomenon, and the computational perspective via the structural properties of the optimization landscape. Despite the remarkable success of deep learning architectures in the overparametrized regime, it is also well known that these models are highly vulnerable to small adversarial perturbations in their inputs. Even when adversarially trained, their performance on perturbed inputs (robust generalization) is considerably worse than their best attainable performance on benign inputs (standard generalization). It is thus imperative to understand how overparametrization fundamentally affects robustness. In this paper, we will provide a precise characterization of the role of overparametrization on robustness by focusing on random features regression models (two-layer neural networks with random first layer weights). We consider a regime where the sample size, the input dimension and the number of parameters grow in proportion to each other, and derive an asymptotically exact formula for the robust generalization error when the model is adversarially trained. Our developed theory reveals the nontrivial effect of overparametrization on robustness and indicates that for adversarially trained random features models, high overparametrization can hurt robust generalization.

研究の動機と目的

• 過パラメータ化が敵対的訓練モデルにおけるロバスト一般化に与える根本的影響を理解すること。
• 標本サイズ、入力次元、モデルパラメータの比例的増加下でのランダム特徴回帰モデルにおけるロバスト一般化誤差を分析すること。
• 高次元領域におけるロバスト一般化誤差の漸近的に正確な公式を導出すること。
• 過パラメータ化が敵対的ロバスト性に非単調的かつ有害な役割を果たす可能性があることを明らかにすること。

提案手法

• 標本サイズ、入力次元、パラメータ数が比例して増加する高次元的漸近的枠組みを採用する。
• 第一層の重みがランダムである二層ニューラルネットワーク（ランダム特徴回帰）を用いる。
• ロバスト一般化誤差は、モラウエンVELOープとガウス等価性の性質を含む変分定式化を介して導出される。
• ランダム行列理論の道具を活用し、マーチェンコ・パストル分布のステルジウス変換とカーネル行列のスペクトル近似を用いる。
• 制限された目的関数の強い凸性を確立し、最適解の一意性を保証する。
• 変数変換と測度集中の性質を用いて、最適化の漸近的挙動を分析する。

(a) $\varepsilon=10^{-7}$

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化は、敵対的訓練を受けるランダム特徴モデルにおけるロバスト一般化誤差にどのように影響するか？
• RQ2 過パラメータ化モデルにおいて、標準一般化とロバスト一般化の間に根本的なトレードオフがあるか？
• RQ3 高次元領域におけるロバスト一般化誤差の漸近的に正確な公式を導出可能か？
• RQ4 高い過パラメータ化は、標準一般化が向上するにもかかわらず、ロバスト性を悪化させるか？

主な発見

• 過パラメータ化はロバスト一般化誤差を悪化させる可能性があり、より多くのパラメータが常にパフォーマンスを向上させるという一般的な信念に反する。
• モデル次元の比例的増加下で、ロバスト一般化誤差が漸近的に正確な公式として導出される。
• 分析により、過パラメータ化がロバスト性に非自明で非単調的な影響を及ぼすことが明らかとなり、過剰な複雑さがロバスト性を損なう可能性がある。
• 制限された最適化目的関数は強く凸であるため、ロバストおよび標準一般化の両方のパラメータに対して一意な最小化子が保証される。
• 導出された公式は、ロバスト誤差が標準誤差よりも高いことを示しており、過パラメータ化に伴いこの差が拡大することが示唆される。
• 結果は、高容量であるにもかかわらず敵対的訓練モデルが依然として脆いという経験的観察と整合的である。

(b) $\varepsilon=0.1$