[論文レビュー] Learning Transferable Adversarial Examples via Ghost Networks

Yingwei Li, Song Bai+4 more|arXiv (Cornell University)|Dec 9, 2018

Adversarial Robustness in Machine Learning参考文献 42被引用数 13

ひとこと要約

この論文は、1つのベースモデルに対して特徴レベルの摂動（ネットワークエロージョン）を適用することで、多数の多様な仮想モデルを生成するGhost Networksを提案する。これにより、高い転送性を持つ adversarial examples（対抗的例）が得られる。縦方向アンサンブルによるこれらの仮想モデルの統合により、計算コストを最小限に抑えながらブラックボックス攻撃性能を著しく向上させ、NeurIPS 2017 対抗的チャレンジの最良提出物を平均で6.02%上回った。

ABSTRACT

Recent development of adversarial attacks has proven that ensemble-based methods outperform traditional, non-ensemble ones in black-box attack. However, as it is computationally prohibitive to acquire a family of diverse models, these methods achieve inferior performance constrained by the limited number of models to be ensembled. In this paper, we propose Ghost Networks to improve the transferability of adversarial examples. The critical principle of ghost networks is to apply feature-level perturbations to an existing model to potentially create a huge set of diverse models. After that, models are subsequently fused by longitudinal ensemble. Extensive experimental results suggest that the number of networks is essential for improving the transferability of adversarial examples, but it is less necessary to independently train different networks and ensemble them in an intensive aggregation way. Instead, our work can be used as a computationally cheap and easily applied plug-in to improve adversarial approaches both in single-model and multi-model attack, compatible with residual and non-residual networks. By reproducing the NeurIPS 2017 adversarial competition, our method outperforms the No.1 attack submission by a large margin, demonstrating its effectiveness and efficiency. Code is available at https://github.com/LiYingwei/ghost-network.

研究の動機と目的

• ブラックボックス対抗的攻撃のための複数の多様なモデルのトレーニングとアンサンブルにかかる高い計算コストを軽減すること。
• 複数のモデルを独立してトレーニングすることに依存せずに、対抗的例の転送性を向上させること。
• 単一モデルおよびマルチモデル攻撃の両方を強化する、軽量でプラグイン互換性のある手法を開発すること。
• アンサンブル内の内在的モデルの数が、独立してトレーニングされたモデルの多様性よりも重要であることを示すこと。

提案手法

• Ghost Networksは、1つのベースモデルの途中層に対して、実行時特徴レベルの摂動（エロージョン）を適用することで生成される仮想モデルであり、トレーニングや保存は行わない。
• 残差ユニットやその他の層（例：バッチ正則化、ReLU）にネットワークエロージョンを適用することで、多様なモデルバージョンを生成する。
• 縦方向アンサンブルは、攻撃イテレーション中に仮想ネットワークの勾配を暗黙的に統合する統合戦略として導入され、明示的なモデル平均化の複雑さを回避する。
• この手法は、さまざまな攻撃アルゴリズム（例：I-FGSM、MI-FGSM）およびネットワークアーキテクチャ（残差型および非残差型）と互換性がある。
• 1つのベースモデルを活用して多数の内在的モデルをシミュレートすることで、効率的な対抗的例の生成が可能になる。
• この手法はプラグアンドプレイであり、ホワイトボックスおよびブラックボックス攻撃設定の両方で適用可能で、標準的および対抗的トレーニング済みモデルとも互換性がある。

実験結果

リサーチクエスチョン

• RQ1 1つのベースモデルが、対抗的転送性を向上させる多数の多様な仮想モデルを生成できるか？
• RQ2 アンサンブル内の内在的モデルの数が、独立してトレーニングされたモデルの多様性よりも重要であるか？
• RQ3 軽量で暗黙的なアンサンブル戦略（縦方向アンサンブル）は、明示的なモデル平均化を置き換えても性能を落とさずに可能か？
• RQ4 Ghost Networksは、計算コストを最小限に抑えながら、単一モデルおよびマルチモデルのブラックボックス攻撃を両方強化できるか？

主な発見

• Ghost Networksにより、NeurIPS 2017の最良提出物の平均ブラックボックス攻撃成功率が33.57%から39.59%に向上し、6.02%の向上が達成された。
• iyswim防御モデルでは、9.08%の向上が確認され、多様な防御機構に対しても強い汎化性能を示した。
• M5実験では、1つのベースモデルと30個の内在的Ghostネットワークを用い、3つの独立してトレーニングされたモデルを用いたM2実験をMI-FGSM条件下で6.70%上回った。
• 3つの対抗的トレーニング済みモデルを対象にテストしたところ、Ghost Networksを用いることで攻撃成功率がMI-FGSMの79.32%から87.14%に向上した。
• この手法は、NeurIPS 2017 対抗的チャレンジベンチマークで最先端の性能を達成し、公式の第1位提出物を上回った。
• Ghost Networksは計算的に効率的であり、さまざまなアーキテクチャ、攻撃手法、防御メカニズムと互換性がある。