[論文レビュー] Towards Transferable Adversarial Attacks on Vision Transformers

Zhipeng Wei, Jingjing Chen+4 more|arXiv (Cornell University)|Sep 9, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、視覚変換器（ViT）に特化した二重攻撃フレームワーク、Pay No Attention（PNA）およびPatchOutを提案する。自己注意機構を通じた勾配バックプロパゲーションを回避し、各イテレーションで部分的なパッチのみを最適化することで、最先端の転送性を達成。既存の手法と組み合わせることで、ViTでは59.15%、強化された訓練を受けていたCNNでは36.23%の攻撃成功率を達成する。

ABSTRACT

Vision transformers (ViTs) have demonstrated impressive performance on a series of computer vision tasks, yet they still suffer from adversarial examples. % crafted in a similar fashion as CNNs. In this paper, we posit that adversarial attacks on transformers should be specially tailored for their architecture, jointly considering both patches and self-attention, in order to achieve high transferability. More specifically, we introduce a dual attack framework, which contains a Pay No Attention (PNA) attack and a PatchOut attack, to improve the transferability of adversarial samples across different ViTs. We show that skipping the gradients of attention during backpropagation can generate adversarial examples with high transferability. In addition, adversarial perturbations generated by optimizing randomly sampled subsets of patches at each iteration achieve higher attack success rates than attacks using all patches. We evaluate the transferability of attacks on state-of-the-art ViTs, CNNs and robustly trained CNNs. The results of these experiments demonstrate that the proposed dual attack can greatly boost transferability between ViTs and from ViTs to CNNs. In addition, the proposed method can easily be combined with existing transfer methods to boost performance. Code is available at https://github.com/zhipeng-wei/PNA-PatchOut.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）とは異なるアーキテクチャのため、視覚変換器における adversarial 攻撃の転送性が制限されているという問題に取り組む。
• ViTにおける自己注意機構とパッチレベルの特徴が adversarial 転送性に与える影響を調査する。
• 自己注意とパッチ表現の両方を同時に標的とする二重攻撃フレームワークを構築し、さまざまなモデル間での一般化性を向上させる。
• アーキテクチャに配慮した攻撃が、ViTおよびCNN（強化された訓練を受けていたものも含む）において、標準的手法を上回ることを検証する。

提案手法

• 自己注意機構を通じた勾配バックプロパゲーションを回避するため、最適化中に注意重みを定数として扱うPay No Attention（PNA）攻撃を導入。
• 各イテレーションでパッチの部分集合をランダムにサンプリングして更新するPatchOut攻撃を採用。ドロップアウトを模倣し、過学習を低減。
• PNAとPatchOutに$L_2$正則化項を組み合わせ、元の画像から離れた摂動を促進しつつ、高い攻撃成功率を維持。
• 白ボックスのViTをサーヴィレートモデルとして用い、黒ボックスのViT、標準のCNN、強化された訓練を受けていたCNNへ効果的に転送される adversarial 例を生成。
• $L_{\ ext{\infty}}$-ノルム制約下で、勾配フローを変更したBIM攻撃を用いて adversarial 例を生成。
• 転送性を最適化するため、ハイパーパramータ$T$（1イテレーションあたりのパッチ数）および$\lambda$（損失と正則化のバランス）を調整。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を通じて勾配を回避することで、視覚変換器における adversarial 転送性にどのような影響を与えるか？
• RQ2 全画像最適化と比較して、パッチのランダム部分集合の最適化は転送性を向上させるか？
• RQ3 PNAとPatchOutの併用効果は、強化された訓練を受けていたCNNを含む多様なアーキテクチャ間でどのように現れるか？
• RQ4 ハイパーパramータ$T$および$\lambda$は、二重攻撃フレームワークのパフォーマンスにどのように影響するか？
• RQ5 この手法は、既存の転送攻撃技術とどのように組み合わせられ、性能をさらに向上させられるか？

主な発見

• 自己注意機構を通じた勾配の回避（PNA）により、ViT-B/16におけるブラックボックス攻撃成功率が29.92%から42.47%に上昇。自己注意の勾配が転送性を損なうことが示された。
• 1イテレーションあたり130個のランダムに抽出されたパッチを用いたPatchOutが最適なパフォーマンスを達成し、全画像最適化や小さなパッチサブセットよりも優れた結果を示した。
• PNA、PatchOut、$L_2$正則化の組み合わせにより、ViTでは59.15%、強化された訓練を受けていたCNNでは36.23%の攻撃成功率を達成。ベースライン手法を著しく上回った。
• アブレーションスタディにより、すべての構成要素が相乗的に寄与しており、PNAが転送性向上において最大の寄与を示した。
• アーキテクチャのギャップを越えて良好に一般化し、ViTから標準的および強化された訓練を受けていたCNNへの転送性が顕著に高まった。
• 既存の転送攻撃手法とシームレスに組み合わせられ、一貫して性能を向上させることができた。