[論文レビュー] Overfitting in adversarially robust deep learning

Leslie Rice, Eric Wong+1 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 72被引用数 46

ひとこと要約

この論文は、頑健な過剰適合が adversarial training の複数データセットと脅威モデルで蔓延しており、早期停止がしばしば最先端の手法に匹敵または上回ることを示している。収束までの訓練では正則化とデータ拡張の効果は限定的である。

ABSTRACT

It is common practice in deep learning to use overparameterized networks and train for as long as possible; there are numerous studies that show, both theoretically and empirically, that such practices surprisingly do not unduly harm the generalization performance of the classifier. In this paper, we empirically study this phenomenon in the setting of adversarially trained deep networks, which are trained to minimize the loss under worst-case adversarial perturbations. We find that overfitting to the training set does in fact harm robust performance to a very large degree in adversarially robust training across multiple datasets (SVHN, CIFAR-10, CIFAR-100, and ImageNet) and perturbation models ($\ell_\infty$ and $\ell_2$). Based upon this observed effect, we show that the performance gains of virtually all recent algorithmic improvements upon adversarial training can be matched by simply using early stopping. We also show that effects such as the double descent curve do still occur in adversarially trained models, yet fail to explain the observed overfitting. Finally, we study several classical and modern deep learning remedies for overfitting, including regularization and data augmentation, and find that no approach in isolation improves significantly upon the gains achieved by early stopping. All code for reproducing the experiments as well as pretrained model weights and training logs can be found at https://github.com/locuslab/robust_overfitting.

研究の動機と目的

• 敵対的に訓練されたネットワークで過剰適合が生じ、頑健な性能が損なわれることを示す。
• 学習率スケジュールとモデルの複雑さが頑健過適合にどのように影響するかを特徴付ける。
• 正則化、データ拡張、半教師あり学習など、頑健過適合を軽減する古典的・現代的対策を評価する。
• 早期停止は最近の adversarial training の改善に匹敵するか上回ることができることを示す。

提案手法

• SVHN、CIFAR-10/100、ImageNet にわたる頑健モデルの実証的訓練。
• 学習率スケジュールの下でのトレーニング進行に対する頑健テスト誤差の分析。
• Vanilla PGD、TRADES、他のアルゴリズムの比較。
• 正則化、データ拡張、半教師付き学習のアブレーション研究。
• 早期停止のためのホールドアウト検証の使用と、頑健性能への影響の検証。

実験結果

リサーチクエスチョン

• RQ1 adversarially trained networks で過適合は発生するか、そしてそれが頑健テスト性能にどのように影響するか？
• RQ2 頑健過適合に影響する学習率スケジュールとモデル複雑性は何か？
• RQ3 正則化、データ拡張、半教師あり法は頑健過適合を緩和できるか、また早期停止と比較してどうか？
• RQ4 早期停止は新しい adversarial training 技術の頑健性の向上を再現または上回るのに足りるか？

主な発見

データセット	ノルム	半径	最終	最良	差分
SVHN	l_infty	8/255	45.6±0.40	39.0	6.6
SVHN	l2	128/255	26.4±0.27	25.2	1.2
CIFAR-10	l_infty	8/255	51.4±0.41	43.2	8.2
CIFAR-10	l2	128/255	31.1±0.46	28.4	2.7
CIFAR-100	l_infty	8/255	78.6±0.39	71.9	6.7
CIFAR-100	l2	128/255	62.5±0.09	56.8	5.7
ImageNet	l_infty	4/255	85.5±8.87	62.7	22.8
ImageNet	l2	76/255	94.8±1.16	63.0	31.8

• 頑健過適合は adversarial training における支配的な現象であり、学習率減衰後および訓練継続で頑健テスト誤差が増加する。
• 早期停止は最先端の adversarial training の利得に匹敵または上回ることができる。CIFAR-10 では vanilla PGD と早期停止で TRADES に匹敵する頑健性能に達する。
• より滑らかな学習率スケジュールは頑健過適合を防げない；離散的な区分的減衰が訓練中に最良の頑健性能をもたらす。
• Explicit regularization and standard data augmentation は収束時には早期停止より限定的な改善であり、半教師付き拡張は早期停止と組み合わせると有効になり得る。
• モデル容量を増やすと頑健テスト性能は向上するが頑健過適合は依然存在する、ダブルディセントと頑健過適合は別の現象である。