[論文レビュー] Improving Transferability of Adversarial Examples with Input Diversity

Cihang Xie, Zhishuai Zhang+5 more|arXiv (Cornell University)|Mar 19, 2018

Adversarial Robustness in Machine Learning参考文献 38被引用数 79

ひとこと要約

本論文は、反復攻撃中のランダム変換を用いた入力多様性を導入し、敵対的事例の転送性を高め、それをモメンタムとアンサンブル攻撃でさらに強化し、ImageNetでのブラックボックス成功率を高く達成した。

ABSTRACT

Though CNNs have achieved the state-of-the-art performance on various vision tasks, they are vulnerable to adversarial examples --- crafted by adding human-imperceptible perturbations to clean images. However, most of the existing adversarial attacks only achieve relatively low success rates under the challenging black-box setting, where the attackers have no knowledge of the model structure and parameters. To this end, we propose to improve the transferability of adversarial examples by creating diverse input patterns. Instead of only using the original images to generate adversarial examples, our method applies random transformations to the input images at each iteration. Extensive experiments on ImageNet show that the proposed attack method can generate adversarial examples that transfer much better to different networks than existing baselines. By evaluating our method against top defense solutions and official baselines from NIPS 2017 adversarial competition, the enhanced attack reaches an average success rate of 73.0%, which outperforms the top-1 attack submission in the NIPS competition by a large margin of 6.6%. We hope that our proposed attack strategy can serve as a strong benchmark baseline for evaluating the robustness of networks to adversaries and the effectiveness of different defense methods in the future. Code is available at https://github.com/cihangxie/DI-2-FGSM.

研究の動機と目的

• 反復攻撃が白箱モデルに過剰適合する理由と、入力変換が転送性を向上させる仕組みを理解する。
• 攻撃の各反復時に確率 p で確率的変換を適用して多様な入力攻撃（DI2-FGSM）を開発する。
• 入力多様性をモメンタムと組み合わせ（M-DI2-FGSM）し、アンサンブル攻撃と組み合わせてブラックボックスの転送性を最大化する。
• ImageNetとNIPS 2017 Adversarial Competitionの強力な防御とトップベースラインに対して提案攻撃を評価する。

提案手法

• 確率 p の間隔で、反復的 FGSM ベースの攻撃時に入力へランダムで微分可能な変換を適用して多様な入力パターン攻撃を定義する。
• ラベルを保持するような T(·) 変換としてランダムリサイズとランダムパディングを用いる。
• 勾配更新にモメンタムを組み込み、MI-FGSMおよびM-DI2-FGSMを形成する。
• 複数のネットワークのアンサンブルを攻撃し、ロジットを融合して共通の敵対的摂動を最適化する。
• 白箱とブラックボックスの性能トレードオフを理解するために p, N, α のアブレーション研究を提供する。
• M-DI2-FGSM がベースラインより七つのネットワークで高いブラックボックス成功率を達成し、NIPS 2017 コンペティションでも高い成果を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 攻撃反復中の入力変換は、未知モデルへの敵対的例の転送性を高めることができるか。
• RQ2 入力多様性とモメンタムの組み合わせは白箱とブラックボックスの成功率にどのように影響するか。
• RQ3 モデルのアンサンブルを攻撃することは、保持されるネットワークへの転送性をさらに向上させるか。
• RQ4 変換確率と反復設定の実際的な効果は攻撃の有効性にどう影響するか。

主な発見

• DI2-FGSMおよびそのモメンタム変種のM-DI2-FGSMは、ImageNetで従来のI-FGSMおよびMI-FGSMと比較してブラックボックスモデルへの転送性を大幅に向上させる。
• M-DI2-FGSMは七つのネットワーク全体で平均転送性が高く、例えばIncRes-v2を白箱としてInc-v4を攻撃した場合のInc-v3 ens3のブラックボックスで顕著に改善される。
• 単一ネットワーク設定では、黒箱のターゲットのほとんどでベースラインを上回り、Res-152からの Inc-v3 へ転送された 53.8% など顕著な向上が見られる。
• 六つのネットワークをアンサンブルしM-DI2-FGSMを適用すると、エンセmble テストで Inc-v3 ens3 hold-out の最大で 44.6% の高い転送性を示す。
• NIPS 2017 Adversarial Competition のベンチマークでは、M-DI2-FGSMが平均 73.0% の成功率を達成し、トップ提出より 6.6 ポイント上回った。
• アブレーション研究では、ブラックボックスの成功率はより大きな値の p で高くなる一方、白箱の性能は低下する可能性があり、より多くの反復回数 N が転送性を一般的に高めることを示している。