[論文レビュー] On Improving Adversarial Transferability of Vision Transformers

Muzammal Naseer, Kanchana Ranasinghe+3 more|arXiv (Cornell University)|Jun 8, 2021

Adversarial Robustness in Machine Learning参考文献 54被引用数 11

ひとこと要約

本稿では、ビジョントランスフォーマー（ViTs）における敵対的例のブラックボックス転送性を著しく向上させる、新しい攻撃手法を提案する。ViTsの階層的構造を活用し、全ブロックからのクラストークンの自己アンサンブルと、構造的パッチ情報によるこれらのトークンの精錬を通じて、識別能を向上させ、多様なモデルやデータセットにおいて最先端の転送性を達成する。

ABSTRACT

Vision transformers (ViTs) process input images as sequences of patches via self-attention; a radically different architecture than convolutional neural networks (CNNs). This makes it interesting to study the adversarial feature space of ViT models and their transferability. In particular, we observe that adversarial patterns found via conventional adversarial attacks show very \emph{low} black-box transferability even for large ViT models. We show that this phenomenon is only due to the sub-optimal attack procedures that do not leverage the true representation potential of ViTs. A deep ViT is composed of multiple blocks, with a consistent architecture comprising of self-attention and feed-forward layers, where each block is capable of independently producing a class token. Formulating an attack using only the last class token (conventional approach) does not directly leverage the discriminative information stored in the earlier tokens, leading to poor adversarial transferability of ViTs. Using the compositional nature of ViT models, we enhance transferability of existing attacks by introducing two novel strategies specific to the architecture of ViT models. (i) Self-Ensemble: We propose a method to find multiple discriminative pathways by dissecting a single ViT model into an ensemble of networks. This allows explicitly utilizing class-specific information at each ViT block. (ii) Token Refinement: We then propose to refine the tokens to further enhance the discriminative capacity at each block of ViT. Our token refinement systematically combines the class tokens with structural information preserved within the patch tokens.

研究の動機と目的

• 高性能なViTモデルがクリーンデータ上で強力な一般化性能を示すにもかかわらず、敵対的転送性が低い理由を解明すること。
• 従来の手法が最終クラストークンのみを用いるため、中間の識別的特徴を無視するという、不適切な攻撃手順の問題を解決すること。
• ViTsのモジュール型で多段階のブロック構造を活用し、転送性を向上させるより効果的な攻撃戦略を設計すること。
• ViTsにおける敵対的転送性の問題が、モデル固有の制限によるものではなく、攻撃設計の問題に起因することを示すこと。
• 提案手法をCNNに拡張し、一般化可能性を評価すること。ViTsに比べて効果はやや低いが、依然として改善が見られる。

提案手法

• ViTの各トランスフォーマーブロックから抽出したクラストークンを用いた自己アンサンブル攻撃戦略を提案し、各トークンを独立した分類器として扱う。
• クラストークンとパッチトークンからの構造的情報を統合することで、各ブロックにおける識別力の向上を図るトークン精錬機構を導入する。
• 全ブロックにわたる精錬済みクラストークンを用いて分類器のアンサンブルを構築し、階層的特徴表現を活用する攻撃を可能にする。
• 入力多様性と反復最適化（例：DIM）を精錬済みアンサンブルに適用し、より転送性の高い敵対的摂動を生成する。
• 中間特徴を微調整して次元を一致させることで、CNN（例：ResNet）に対しても同様の自己アンサンブルアプローチを適用可能にすること。
• 精錬済みアンサンブルを攻撃最適化プロセスの目的関数として用い、未知のターゲットモデルを欺く確率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 高容量なViTモデルがクリーンデータ上で優れた性能を示すにもかかわらず、なぜブラックボックス敵対的転送性が低いのか？
• RQ2 最終クラストークンにのみ焦点を当てる従来の攻撃戦略は、ViTsの敵対的潜在能力をどの程度制限しているのか？
• RQ3 ViTsの階層的構造を活用することで、より転送性の高い敵対的例を生成できるか？
• RQ4 トークン精錬は、敵対的攻撃における中間表現の識別品質をどのように向上させるのか？
• RQ5 提案手法は、CNNのような他のアーキテクチャにも一般化可能か？また、異なるモデルタイプ間での性能比較はどのようになるか？

主な発見

• 提案された自己アンサンブルと精錬済みトークンは、標準的な攻撃に比べてImageNetで敵対的転送性に29.6%の相対的向上を達成し、ε ≤ 16の条件下で偽装率92.42%を達成した。
• ResNet-152では最大18.7ポイント、ViT-Baseでは13.1ポイントの転送性向上を示し、モデル間での強い一般化性を示した。
• トークン精錬のみで、異なるViTバージョンで12.2〜24.3ポイントの転送性向上を達成し、特徴の識別能向上の有効性を示した。
• CvT-Sでは28.8%、CvT-Tでは28.5%の相対的向上を達成し、ViTアーキテクチャ全体にわたり一貫した向上が得られた。
• ResNet50などCNNに対しても手法を適応可能であるが、相対的向上は顕著に小さい（ViTsでは最大29.6%、ResNet50では約20%）ため、ViTアーキテクチャに特に適していることが示唆された。
• DeiT-Sではε ≤ 16の条件下で攻撃成功率が92.42%に達し、標準的なDIMおよびDIM-Eベースラインを18ポイント以上上回った。これにより、本手法の有効性が確認された。