[論文レビュー] Efficient Adversarial Training with Transferable Adversarial Examples

Haizhong Zheng, Ziqi Zhang+3 more|arXiv (Cornell University)|Dec 27, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用数 9

ひとこと要約

本稿では、隣接するエポック間のモデル間に高い転送性を有するように、訓練エポック間で敵対的摂動を再利用するATTA（Transferable Adversarial Examplesを用いた敵対的訓練）という新規手法を提案する。エポックごとの再利用によって攻撃強度を蓄積することで、PGDに基づく敵対的訓練と同等またはそれ以上のロバストネスを達成するとともに、CIFAR10では最大14.1倍の訓練時間を短縮し、敵対的精度を最大7.2%向上させた。

ABSTRACT

Adversarial training is an effective defense method to protect classification models against adversarial attacks. However, one limitation of this approach is that it can require orders of magnitude additional training time due to high cost of generating strong adversarial examples during training. In this paper, we first show that there is high transferability between models from neighboring epochs in the same training process, i.e., adversarial examples from one epoch continue to be adversarial in subsequent epochs. Leveraging this property, we propose a novel method, Adversarial Training with Transferable Adversarial Examples (ATTA), that can enhance the robustness of trained models and greatly improve the training efficiency by accumulating adversarial perturbations through epochs. Compared to state-of-the-art adversarial training methods, ATTA enhances adversarial accuracy by up to 7.2% on CIFAR10 and requires 12~14x less training time on MNIST and CIFAR10 datasets with comparable model robustness.

研究の動機と目的

• 敵対的訓練中に強い敵対的例を生成するための高い計算コストを軽減すること。
• 1つの訓練エポックで得られた敵対的摂動が、その後のエポックにおいても有効に保たれるかどうかを調査すること。
• エポック間で敵対的摂動を再利用する手法を開発し、モデルのロバストネスを損なわせることなく訓練時間を短縮すること。
• 反復的攻撃に基づく敵対的訓練手法の効率性と有効性を向上させること。
• 本手法がImageNetのような大規模データセットにおいて実用的であるかどうかを示すこと。

提案手法

• 本手法は、1つのエポックで生成された敵対的摂動を次のエポックの敵対的訓練に再利用し、隣接エポック間のモデル間に高い転送性を活用する。
• 1エポックあたり1回の攻撃イテレーションを適用し、前エポックの摂動を初期値として使用する。
• 分布シフトに対処するための接続関数を用いることで、モデルの更新に対しても摂動の有効性が保たれるようにする。
• Madryの手法（MAT）やTRADESといった既存の敵対的訓練フレームワークと統合可能であり、それらのコアアーキテクチャを変更せずに強化できる。
• さらに転送性を向上させるために、逆方向データ拡張（i.d.a.）を適用する。
• 攻撃損失関数の選定に細心の注意を払い、エポック単位での再利用の文脈において、式3が式2よりも安定性と転送性に優れていると判明した。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練中に連続するエポックで訓練されたモデル間には、高い転送性が存在するか？
• RQ2 1つのエポックで得た敵対的摂動を、その後のエポックで効果的に再利用できるか？
• RQ3 エポック間で摂動を再利用することで、モデルのロバストネスを損なわず訓練効率が向上するか？
• RQ4 攻撃損失関数の選定が、エポック単位の敵対的訓練における転送性と性能に与える影響は何か？
• RQ5 提案手法は、計算オーバーヘッドを最小限に抑えながら、ImageNetのような大規模データセットへスケーリング可能か？

主な発見

• CIFAR10では、従来のPGDベースの敵対的訓練と比較して、最大14.1倍の訓練時間を短縮した。MNISTでは12.2倍の短縮が達成された。
• 1エポックあたり1回の攻撃イテレーションのみを用いるATTA-1は、MNISTで5分間で敵対的精度96.31%を達成した。MATと比較すると、65分から大幅に短縮された。
• CIFAR10では、ATTAは約2時間でMATと同等の敵対的精度を達成したが、MATは33時間以上を要した。
• CIFAR10では、MATと比較して最大7.2%の敵対的精度向上を達成し、ロバストネスの向上を示した。
• ImageNetでは、1台の2080 Ti GPUを用いて97時間でMATと同等のロバストネスを達成し、スケーラビリティを示した。
• 逆方向データ拡張により、転送性が向上し、アブレーションスタディではロバストネスが約6%向上した。