[論文レビュー] Transferable Adversarial Attacks on Vision Transformers with Token Gradient Regularization

Jianping Zhang, Yizhan Huang+2 more|arXiv (Cornell University)|Mar 28, 2023

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本稿では、中間ブロックにおける勾配の分散を軽減することで、ビジョントランスフォーマー（ViTs）における転送可能な adversarial 攻撃を向上させる、新しい手法であるトークン勾配正則化（TGR）を提案する。TGR は勾配更新方向の安定化により、ImageNet 上で最先端の手法よりも平均で 8.8% の性能向上を達成する。

ABSTRACT

Vision transformers (ViTs) have been successfully deployed in a variety of computer vision tasks, but they are still vulnerable to adversarial samples. Transfer-based attacks use a local model to generate adversarial samples and directly transfer them to attack a target black-box model. The high efficiency of transfer-based attacks makes it a severe security threat to ViT-based applications. Therefore, it is vital to design effective transfer-based attacks to identify the deficiencies of ViTs beforehand in security-sensitive scenarios. Existing efforts generally focus on regularizing the input gradients to stabilize the updated direction of adversarial samples. However, the variance of the back-propagated gradients in intermediate blocks of ViTs may still be large, which may make the generated adversarial samples focus on some model-specific features and get stuck in poor local optima. To overcome the shortcomings of existing approaches, we propose the Token Gradient Regularization (TGR) method. According to the structural characteristics of ViTs, TGR reduces the variance of the back-propagated gradient in each internal block of ViTs in a token-wise manner and utilizes the regularized gradient to generate adversarial samples. Extensive experiments on attacking both ViTs and CNNs confirm the superiority of our approach. Notably, compared to the state-of-the-art transfer-based attacks, our TGR offers a performance improvement of 8.8% on average.

研究の動機と目的

• 既存の勾配正則化に基づく adversarial 攻撃がビジョントランスフォーマー（ViTs）において転送性が低い問題に対処すること。
• 入力レベルの正則化にもかかわらず、中間ブロックでの勾配を安定化できない現状の手法の原因を解明すること。
• ViT ブロック内のトークンレベルでバックプロパゲーションされた勾配を正則化することで、adversarial サンプルの転送性を向上させること。
• ターゲットモデルへのアクセスを必要とせず、ViTs や CNNs の両方で攻撃成功率を向上させる手法を開発すること。

提案手法

• TGR は、ViT の各内部ブロックにおいて、極端な値を示すバックプロパゲーション勾配をトークンレベルで特定・削除する。
• 各パッチ埋め込みをトークンとして扱い、中間層における各トークン表現に関する分類損失の勾配を計算する。
• 各トークンごとに、絶対値が最大の上位-k 個の勾配をしきい値に基づいてプルーニングすることで、バックプロパゲーション信号の分散を低減する。
• 正則化された勾配を、攻撃プロセス中の adversarial パーティクルの更新に使用する。
• TGR はソースモデルにおけるホワイトボックス攻撃フェーズ中に適用され、得られた adversarial サンプルは直接ブラックボックスのターゲットモデルに転送される。
• このアプローチは、中間特徴マップに対しても同様の勾配正則化を適用することで、CNN に対しても適応可能であり、一般化性を示している。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の勾配正則化手法は、入力勾配分散を低減しても、ViTs における転送性を向上させられないのか？
• RQ2 ViTs の中間ブロックにおける勾配分散が、adversarial サンプルの転送性にどのように影響するのか？
• RQ3 ViT ブロック内のトークンレベルでの勾配正則化は、ViTs や CNNs における攻撃成功率をどの程度向上させ得るのか？
• RQ4 性能と効率のバランスを考慮した場合、1 トークンあたり正則化する極端な勾配の数の最適値は何か？
• RQ5 TGR は VIT 以外のアーキテクチャ、例えば CNN に一般化可能か？また、既存の SOTA 手法と比較してどうなるか？

主な発見

• TGR は、複数の ImageNet モデルを対象とした際、最先端の転送ベース攻撃手法よりも平均で 8.8% の攻撃成功率向上を達成する。
• ViT の深層部では勾配分散が最小であり、浅層部では最大であることが確認され、中間ブロックの正則化の必要性が裏付けられる。
• VMI などのベースライン手法と比較して、特に浅層および中層ブロックにおいて、TGR は全ネットワークレベルにおける平均勾配分散をより効果的に低減する。
• アブレーションスタディから、アテンション機構が転送性に最も寄与しており、次に MLP と QKV 要素が続くことが示された。
• CNN に適用した場合、MIM よりも 12.5% 以上の攻撃成功率向上を達成し、VMI と同等の性能を示しており、一般化能力が裏付けられる。
• 正則化する最適な極端なトークン数は k=1 であり、k をこれ以上に増やすと勾配の過剰な変更により転送性が低下することが分かった。