[論文レビュー] Adversarial Training for Free!

Ali Shafahi, Mahyar Najibi+7 more|arXiv (Cornell University)|Apr 29, 2019

Adversarial Robustness in Machine Learning参考文献 48被引用数 2

ひとこと要約

この論文は、標準的な誤反転伝播から得られる勾配情報を再利用することで、追加の計算コストなしに adversarial examples を生成する画期的な「フリー」の adversarial training 法を提案している。この手法により、PGD に基づく adversarial training と同等の頑健性が達成され、4枚の P100 GPU を搭載した単一のワークステーションで ImageNet モデルをわずか2日間で訓練可能となり、PGD 攻撃に対して40%の精度を達成した。

ABSTRACT

Adversarial training, in which a network is trained on adversarial examples, is one of the few defenses against adversarial attacks that withstands strong attacks. Unfortunately, the high cost of generating strong adversarial examples makes standard adversarial training impractical on large-scale problems like ImageNet. We present an algorithm that eliminates the overhead cost of generating adversarial examples by recycling the gradient information computed when updating model parameters. Our "free" adversarial training algorithm achieves comparable robustness to PGD adversarial training on the CIFAR-10 and CIFAR-100 datasets at negligible additional cost compared to natural training, and can be 7 to 30 times faster than other strong adversarial training methods. Using a single workstation with 4 P100 GPUs and 2 days of runtime, we can train a robust model for the large-scale ImageNet classification task that maintains 40% accuracy against PGD attacks. The code is available at https://github.com/ashafahi/free_adv_train.

研究の動機と目的

• adversarial training の高い計算コストが、大規模なディープラーニング応用分野での利用を制限しているという問題に取り組む。
• adversarial examples の生成にかかるオーバーヘッドをなくすために、標準的な学習から得られる勾配を再利用する。
• 限定的な計算リソースで ImageNet のような大規模データセットに対する頑健なモデル学習を可能にする。
• 追加の学習時間なしに、強力な PGD に基づく adversarial training と同等の頑健性を達成する。

提案手法

• この手法は、モデルパラメータと adversarial パラメータの両方の更新を、一度のバックワードパスで同時に実行する。
• adversarial example の生成に別々のフォワードパスを必要とせず、誤差逆伝播中に入力の摂動に関する損失の勾配を再利用する。
• 非標的攻撃の定式化を採用し、||δ||_∞ ≤ ϵ の制約のもとで max_δ l(x+δ, y, θ) を解く。
• 標準的な SGD に adversarial training を統合し、モデル重みと摂動の両方の更新に同じバックワードパスを再利用する。
• 自然学習と同一の最適化スキームを適用するが、同じバックワードパス内で摂動の更新も行う。
• 標準的なディープラーニングフレームワークと互換性があり、アーキテクチャの変更や GAN のような追加コンponents が不要である。

実験結果

リサーチクエスチョン

• RQ1 勾配計算を再利用することで、adversarial training を自然学習と同等の効率にできるか？
• RQ2 モデル重みと摂動の両方に勾配を再利用することで、PGD に基づく adversarial training と同等の頑健性を維持できるか？
• RQ3 この手法は、限定的なハードウェアで ImageNet のような大規模データセットにスケーリング可能か？
• RQ4 強力な攻撃に対して、『フリー』adversarial training の頑健性は PGD に基づく訓練と比べてどうか？
• RQ5 この手法で学習された高容量モデルは、追加の学習コストなしに、より高い頑健性を達成できるか？

主な発見

• 提案された『フリー』adversarial training は、4枚の P100 GPU を使用し、2日間の学習で ImageNet に対して PGD 攻撃に対して40%の頑健な精度を達成した。
• CIFAR-10 および CIFAR-100 では、PGD に基づく adversarial training と同等の頑健性を達成しており、一部のケースではわずかに優れた結果も得られた。
• 従来の adversarial training 手法に比べ、7〜30倍の高速化が達成され、2-PGD 学習に比べて3.46倍の高速化が得られた。
• ResNet-152 を『フリー』adversarial training で学習させた場合、PGD-50 攻撃に対して36.99%の頑健な精度を達成し、ResNet-50 よりも約4%高い頑健性を示した。
• モデルの容量と頑健性が同時に向上する傾向を示しており、ResNet-152 では自然精度が64.446%を維持しながらも、強い頑健性を達成した。
• この手法により、大規模な GPU クラスタがなくても、単一のワークステーションで ImageNet の頑健な学習が可能になった。