[論文レビュー] Ensemble Adversarial Training: Attacks and Defenses

Florian Tramèr, Alexey Kurakin+4 more|arXiv (Cornell University)|May 19, 2017

Adversarial Robustness in Machine Learning参考文献 48被引用数 1,107

ひとこと要約

この論文は、単一ステップの敵対的訓練が勾配マスキングのために失敗する理由を分析し、静的に事前訓練されたモデルからの敵対的例を用いてブラックボックスの頑健性を向上させる Ensemble Adversarial Training を導入する。

ABSTRACT

Adversarial examples are perturbed inputs designed to fool machine learning models. Adversarial training injects such examples into training data to increase robustness. To scale this technique to large datasets, perturbations are crafted using fast single-step methods that maximize a linear approximation of the model's loss. We show that this form of adversarial training converges to a degenerate global minimum, wherein small curvature artifacts near the data points obfuscate a linear approximation of the loss. The model thus learns to generate weak perturbations, rather than defend against strong ones. As a result, we find that adversarial training remains vulnerable to black-box attacks, where we transfer perturbations computed on undefended models, as well as to a powerful novel single-step attack that escapes the non-smooth vicinity of the input data via a small random step. We further introduce Ensemble Adversarial Training, a technique that augments training data with perturbations transferred from other models. On ImageNet, Ensemble Adversarial Training yields models with strong robustness to black-box attacks. In particular, our most robust model won the first round of the NIPS 2017 competition on Defenses against Adversarial Attacks. However, subsequent work found that more elaborate black-box attacks could significantly enhance transferability and reduce the accuracy of our models.

研究の動機と目的

• 単一ステップの敵対的訓練が退化的な極値へ収束し、ブラックボックス攻撃に脆弱である理由を説明する。
• 訓練中に観測される敵対的摂動を多様化するための Ensemble Adversarial Training を提案する。
• ImageNet での頑健性の向上を実証し、モデル間の攻撃の転移性を分析する。

提案手法

• bounded l_infinity 摂動を用いた敵対的訓練を定式化する。
• 単一ステップ攻撃下での勾配マスキングと退化的極小値を実証する。
• R+FGSM: 単一ステップ攻撃へのランダム摂動前置ステップを導入する。
• 静的な事前訓練モデルからの敵対的例を組み込むことで Ensemble Adversarial Training を提案する。
• ImageNet で Inception v3 および Inception ResNet v2 を用いて、さまざまなホワイトボックス攻撃およびブラックボックス攻撃に対して評価する。
• ホワイトボックスとブラックボックスの頑健性の収束とトレードオフについて議論する。

実験結果

リサーチクエスチョン

• RQ1 単一ステップの敵対的訓練は真の損失ランドスケープをマスクする退化的な極小値を生み出すか。
• RQ2 静的モデルからの敵対的摂動の転送はブラックボックス攻撃に対する頑健性を向上させるか。
• RQ3 Ensemble Adversarial Training は大規模データセット全体で様々な攻撃タイプに対する頑健性にどのように影響するか。

主な発見

• 単一ステップの敵対的訓練は勾配マスキングを示し、データ点付近の損失に対する線形近似の有効性を低下させる。
• 単一ステップ法による敵対的訓練はホワイトボックス頑健性を高める一方で、転移性のためブラックボックス頑健性を低下させる。
• 新しい R+FGSM 攻撃（ランダム開始プラス FGSM）は、モデル間で単一ステップ攻撃を強化する。
• Ensemble Adversarial Training（静的事前訓練モデルからの摂動を用いた訓練）は ImageNet におけるブラックボックス攻撃に対する頑健性を向上させる。
• アンサンブルモデルは敵対的摂動の転送性を低減するが、ホワイトボックス頑健性は損なわれることがある。
• 最も良いアンサンブルモデル（IRv2_adv-ens）は NIPS 2017 defense 競技で最高成績を達成し、当時ブラックボックス攻撃に対する顕著な頑健性を示した。