[論文レビュー] Bridging the Performance Gap between FGSM and PGD Adversarial Training

Tianjin Huang, Vlado Menkovski+2 more|arXiv (Cornell University)|Nov 7, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 11

ひとこと要約

本稿では、FGSMのロバスト性をPGDに匹敵する水準まで向上させつつ、トレーニング時間を半分に削減する、曲率正則化を施した adversarial training 法 adv.FGSMR を提案する。FGSM方向に沿った曲率を最小化することで、FGSMとPGDの摂動方向を一致させ、CIFAR-10で優れたロバスト性を達成し、移行可能な攻撃に対しても強力な防御を実現する。

ABSTRACT

Deep learning achieves state-of-the-art performance in many tasks but exposes to the underlying vulnerability against adversarial examples. Across existing defense techniques, adversarial training with the projected gradient decent attack (adv.PGD) is considered as one of the most effective ways to achieve moderate adversarial robustness. However, adv.PGD requires too much training time since the projected gradient attack (PGD) takes multiple iterations to generate perturbations. On the other hand, adversarial training with the fast gradient sign method (adv.FGSM) takes much less training time since the fast gradient sign method (FGSM) takes one step to generate perturbations but fails to increase adversarial robustness. In this work, we extend adv.FGSM to make it achieve the adversarial robustness of adv.PGD. We demonstrate that the large curvature along FGSM perturbed direction leads to a large difference in performance of adversarial robustness between adv.FGSM and adv.PGD, and therefore propose combining adv.FGSM with a curvature regularization (adv.FGSMR) in order to bridge the performance gap between adv.FGSM and adv.PGD. The experiments show that adv.FGSMR has higher training efficiency than adv.PGD. In addition, it achieves comparable performance of adversarial robustness on MNIST dataset under white-box attack, and it achieves better performance than adv.PGD under white-box attack and effectively defends the transferable adversarial attack on CIFAR-10 dataset.

研究の動機と目的

• 高速だが弱い FGSM adversarial training と遅いが強固な PGD adversarial training の間の性能格差を是正すること。
• FGSM のロバスト性が低い原因を、その摂動方向に沿った高い曲率にあると特定すること。
• FGSM 方向に沿った曲率を低減する正則化手法を開発し、トレーニングコストを増加させることなくロバスト性を向上させること。
• PGD と同等またはそれ以上の adversarial robustness を達成しつつ、高いトレーニング効率を維持すること。

提案手法

• FGSM 摂動方向に沿った損失関数における高い曲率をペナルティとする曲率正則化項を提案する。
• 標準的な FGSM adversarial training に曲率正則化を統合し、adv.FGSMR フレームワークを構築する。
• トレーニング中に FGSM 方向に沿った曲率を推定するために、ヘッセ行列に基づく曲率推定法（式6）を用いる。
• 標準的な交差エントロピー損失 + 曲率正則化項という修正された損失関数を用いてモデルを訓練する。
• 1ステップの FGSM 摂動で最適化を行うが、曲率制御を施すことで、多段階の PGD に類似した攻撃への一般化性能を向上させる。
• MNIST および CIFAR-10 に対して、標準的な ResNet アーキテクチャを用い、白ボックスおよびブラックボックス攻撃の下で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 FGSM adversarial training は高速であるが、なぜ PGD と同等のロバスト性を達成できないのか？
• RQ2 FGSM 摂動方向に沿った曲率は、adversarial robustness の一般化にどのように影響するか？
• RQ3 曲率正則化により、FGSM 基盤の adversarial training が PGD のロバスト性に匹敵または上回ることは可能か？
• RQ4 提案手法は、標準ベンチマークでロバスト性を向上させる一方で、高いトレーニング効率を維持できるか？

主な発見

• adv.FGSMR は、白ボックスの PGD 攻撃下で MNIST データセットにおいて PGD と同等の adversarial robustness を達成する。
• CIFAR-10 では、白ボックスの PGD 攻撃および C&W 攻撃下で、adv.FGSMR が PGD を上回る adversarial robustness を示す。
• adv.FGSMR は、PGD と同等に移行可能な adversarial 攻撃を防御するが、ブラックボックス設定では、より高い摂動データ精度を達成する。
• adv.FGSMR でトレーニングする際、1エポックあたりの所要時間が PGD（k=20）の半分で済み、摂動データ精度の収束速度も同程度である。
• adv.FGSMR の下での曲率値は、PGD のそれよりもわずかに小さいため、曲率制御がロバスト性の向上に寄与していると考えられる。
• 表6の移行性実験から、この手法は標準学習よりも PGD よりも特徴を近づけることを示している。