[論文レビュー] Exploring Memorization in Adversarial Training

Yinpeng Dong, Ke Xu+5 more|arXiv (Cornell University)|Jun 3, 2021

Adversarial Robustness in Machine Learning参考文献 78被引用数 15

ひとこと要約

この論文は、敵対的訓練（AT）における記憶化のメカニズムを調査し、深層ネットワークがランダムラベルを伴う敵対的例を記憶できることを明らかにした。その結果、勾配の不安定性とロバストな過学習が生じるが、これは主に one-hot ラベル符号化に起因する。著者らは、過信した予測を軽減することでロバスト一般化を向上させる、TE（温度に基づく証拠正則化）という緩和手法を提案した。CIFAR-10 において PGD および AutoAttack の下で、従来の手法（ラベルスムージングや知識蒸留）を上回る性能を発揮した。

ABSTRACT

Deep learning models have a propensity for fitting the entire training set even with random labels, which requires memorization of every training sample. In this paper, we explore the memorization effect in adversarial training (AT) for promoting a deeper understanding of model capacity, convergence, generalization, and especially robust overfitting of the adversarially trained models. We first demonstrate that deep networks have sufficient capacity to memorize adversarial examples of training data with completely random labels, but not all AT algorithms can converge under the extreme circumstance. Our study of AT with random labels motivates further analyses on the convergence and generalization of AT. We find that some AT approaches suffer from a gradient instability issue and most recently suggested complexity measures cannot explain robust generalization by considering models trained on random labels. Furthermore, we identify a significant drawback of memorization in AT that it could result in robust overfitting. We then propose a new mitigation algorithm motivated by detailed memorization analyses. Extensive experiments on various datasets validate the effectiveness of the proposed method.

研究の動機と目的

• 敵対的訓練の下で、深層ニューラルネットワークがランダムラベルを伴う敵対的例を記憶できるかどうかを調査すること。
• 極端な記憶化状態下における AT メソッドの収束性および一般化行動を分析すること。
• AT におけるロバストな過学習の根本的原因を特定すること、特に one-hot ラベルの果たす役割を特定すること。
• 過信した予測を低減し、ロバスト一般化を向上させる新たな緩和手法を提案すること。

提案手法

• 著者らは、記憶化能力と収束性をテストするために、PGD-AT および TRADES を用いてランダムラベルで学習させた。
• PGD-AT がランダムラベルで収束しない理由を説明するために、勾配の大きさと安定性を分析した。
• モデルがランダムラベルで学習された際のロバスト一般化を説明できるかどうかを評価するために、既存の複雑性測定を評価した。
• 提案手法 TE（温度に基づく証拠正則化）は、one-hot ラベルを温度制御されたソフトマックスによりソフトラベルに置き換えることで、過信した予測を軽減する。
• TE は PGD-AT に統合され、複数の脅威モデルとデータセットで評価された。
• ResNet-18 を用いて、CIFAR-10 で PGD-10、PGD-1000、C&W-1000、AutoAttack の下で、ラベルスムージング、SAT、KD-SWA、Co-teaching と比較した。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練において、完全にランダムなラベルを伴う敵対的例を深層ネットワークが記憶できるか？
• RQ2 PGD-AT や TRADES といった一部の AT メソッドはなぜランダムラベルで収束しないのか、一方で他のメソッドはなぜ収束するのか？
• RQ3 モデルがランダムラベルで学習された際、既存の複雑性測定はロバスト一般化を説明できるか？
• RQ4 敵対的訓練におけるロバストな過学習の原因は何か？また、ラベル表現を変更することで緩和可能か？
• RQ5 one-hot ラベルをソフトラベルに置き換えることで、AT におけるロバスト一般化が向上するか？

主な発見

• PGD-AT はランダムラベルで学習する際に勾配の不安定性により収束しなかったが、TRADES は安定した。
• DNN は十分な容量を有しており、ランダムラベルを伴う敵対的例を記憶できる。これは極端な条件下でも記憶が可能であることを示している。
• 標準的な複雑性測定は、モデルがランダムラベルで学習された際のロバスト一般化を説明できない。理論的理解のギャップを示唆している。
• AT におけるロバストな過学習の主な原因は、one-hot ラベルの記憶であり、これは意思決定境界付近の敵対的例に対して不適切である。
• CIFAR-10 において PGD-1000 では 54.83%、AutoAttack では 51.73% のテスト精度を達成し、PGD-AT、PGD-AT + LS、SAT、KD-SWA、Co-teaching を上回るロバスト精度を示した。
• TE は過信した予測を低減させ、一般化性能を向上させ、ラベルスムージングや他の正則化手法を凌駆する形でロバストな過学習を緩和した。