[論文レビュー] Prior-Guided Adversarial Initialization for Fast Adversarial Training

Xiaojun Jia, Yong Zhang+5 more|arXiv (Cornell University)|Jul 18, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、追加の計算コストをかけずに、過去に生成された adversarial perturbations（摂動）を FGSM の初期化に活用することで、高速 adversarial training（FAT）における catastrophic overfitting（壊滅的過適合）を防ぐための Prior-Guided Adversarial Initialization（FGSM-PGI）を提案する。この手法は訓練全体を通して adversarial example（AE）の品質を向上させるとともに、現在の摂動が事前初期化に近づくように制約する正則化項を導入し、Free-AT よりも 3 倍速く、NuAT よりも 1.4 倍速い訓練時間で最先端のロバストネスを達成する。

ABSTRACT

Fast adversarial training (FAT) effectively improves the efficiency of standard adversarial training (SAT). However, initial FAT encounters catastrophic overfitting, i.e.,the robust accuracy against adversarial attacks suddenly and dramatically decreases. Though several FAT variants spare no effort to prevent overfitting, they sacrifice much calculation cost. In this paper, we explore the difference between the training processes of SAT and FAT and observe that the attack success rate of adversarial examples (AEs) of FAT gets worse gradually in the late training stage, resulting in overfitting. The AEs are generated by the fast gradient sign method (FGSM) with a zero or random initialization. Based on the observation, we propose a prior-guided FGSM initialization method to avoid overfitting after investigating several initialization strategies, improving the quality of the AEs during the whole training process. The initialization is formed by leveraging historically generated AEs without additional calculation cost. We further provide a theoretical analysis for the proposed initialization method. We also propose a simple yet effective regularizer based on the prior-guided initialization,i.e., the currently generated perturbation should not deviate too much from the prior-guided initialization. The regularizer adopts both historical and current adversarial perturbations to guide the model learning. Evaluations on four datasets demonstrate that the proposed method can prevent catastrophic overfitting and outperform state-of-the-art FAT methods. The code is released at https://github.com/jiaxiaojunQAQ/FGSM-PGI.

研究の動機と目的

• 高速 adversarial training（FAT）における catastrophic overfitting を解消すること。これは、adversarial example（AE）の品質が低下することで生じるロバスト精度の急激な低下が原因である。
• 計算コストを増加させることなく、FGSM を用いた FAT における adversarial example（AE）の品質を向上させること。
• 特に過去の AEs からの adversarial initialization（初期化）が、訓練の安定化と過適合の防止に寄与するかどうかを検証すること。
• 現在の摂動と事前初期化との一貫性を強制する正則化項を設計し、モデルのロバストネスを向上させること。
• 従来の FAT や PGD を用いた手法と比較して、顕著に低い訓練時間で最先端のロバストネスを達成すること。

提案手法

• FGSM-BP や FGSM-EP といった、前回のバッチ（またはエポック）で得られたバッファリング済み摂動を用いて FGSM 攻撃を初期化する、事前ガイドド初期化手法である FGSM-PGI を提案する。
• すべての過去のエポックからの勾配を集約するモーメンタム機構を導入することで、初期化の品質を向上させる FGSM-MEP を提案する。
• 現在の adversarial 摂動が事前ガイドド初期化に近づくように制約する、新規の正則化項を導入し、より滑らかで安定したモデル更新を促進する。
• 追加の勾配計算を一切行わず、歴史的な adversarial 摂動を活用することで、計算コストに一切影響を与えない。
• 過去の勾配をモーメンタムベースで集約することで、より強固で安定した初期化のための事前情報（prior）を形成する。
• 訓練中に正則化項を適用することで、関数の滑らかさを促進し、adversarial 攻撃に対する一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 歴史的に生成された摂動から得られる adversarial initialization（初期化）が、高速 adversarial training における catastrophic overfitting を防げるか？
• RQ2 事前ガイドド初期化が、訓練全体を通して adversarial example（AE）の品質を向上させるか？
• RQ3 事前ガイドド初期化に基づく正則化項が、計算コストを増加させることなく、さらにモデルのロバストネスを向上させられるか？
• RQ4 提案手法は、最先端の FAT や PGD を用いた訓練手法と比較して、ロバストネスと効率性の両面で優れているか？
• RQ5 本手法は、多様なデータセットや攻撃シナリオにおいても強力な性能を維持できるか？

主な発見

• FGSM-MEP は、最先端の NuAT 手法と同等のロバストネスを達成するが、CIFAR-10 において 29% 速く（73 分 vs. 104 分）訓練が可能である。
• CIFAR-10 において、PGD-10、PGD-20、PGD-50 攻撃の両方の最良チェックポイントおよび最終チェックポイントで、最高のロバスト精度を達成した。
• CIFAR-100 において、FGSM-MEP は AutoAttack の下で PGD-AT と同等のロバスト精度（約 25%）を達成したが、3 倍速い。
• Tiny ImageNet において、FGSM-MEP はすべての競合する FAT 手法を上回り、すべての攻撃シナリオで PGD-AT と同等またはそれ以上のロバストネスを示した。
• ResNet50 を用いた ImageNet において、FGSM-BP（低メモリバージョン）は、FGSM-RS や Free-AT よりも高いクリーン精度とロバスト精度を達成し、著しく短い訓練時間で実現した。
• アブレーションスタディの結果、提案された正則化項は、CIFAR-10 における FGSM-BP、FGSM-EP、FGSM-MEP すべてにおいて一貫してロバストネスを向上させた。