[論文レビュー] Patch-Fool: Are Vision Transformers Always Robust Against Adversarial Perturbations?

Yonggan Fu, Shunyao Zhang+3 more|arXiv (Cornell University)|Mar 16, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文は、画像のパッチ単位で摂動を最適化することで、ビジョントランスフォーマー（ViTs）の自己注意機構を標的とする、新たな adversarial attack フレームワークである Patch-Fool を導入する。従来の攻撃とは異なり、Patch-Fool は注意に配慮したパッチ選択と損失設計を採用し、ViTs がこの攻撃において一貫して CNN よりも脆弱であることを明らかにした。これは ViTs の本質的堅牢性という仮定に疑問を呈し、摂動の密度と強度が堅牢性ランク付けにおいて重要な要因であることを強調している。

ABSTRACT

Vision transformers (ViTs) have recently set off a new wave in neural architecture design thanks to their record-breaking performance in various vision tasks. In parallel, to fulfill the goal of deploying ViTs into real-world vision applications, their robustness against potential malicious attacks has gained increasing attention. In particular, recent works show that ViTs are more robust against adversarial attacks as compared with convolutional neural networks (CNNs), and conjecture that this is because ViTs focus more on capturing global interactions among different input/feature patches, leading to their improved robustness to local perturbations imposed by adversarial attacks. In this work, we ask an intriguing question: "Under what kinds of perturbations do ViTs become more vulnerable learners compared to CNNs?" Driven by this question, we first conduct a comprehensive experiment regarding the robustness of both ViTs and CNNs under various existing adversarial attacks to understand the underlying reason favoring their robustness. Based on the drawn insights, we then propose a dedicated attack framework, dubbed Patch-Fool, that fools the self-attention mechanism by attacking its basic component (i.e., a single patch) with a series of attention-aware optimization techniques. Interestingly, our Patch-Fool framework shows for the first time that ViTs are not necessarily more robust than CNNs against adversarial perturbations. In particular, we find that ViTs are more vulnerable learners compared with CNNs against our Patch-Fool attack which is consistent across extensive experiments, and the observations from Sparse/Mild Patch-Fool, two variants of Patch-Fool, indicate an intriguing insight that the perturbation density and strength on each patch seem to be the key factors that influence the robustness ranking between ViTs and CNNs.

研究の動機と目的

• ビジョントランスフォーマー（ViTs）がすべての adversarial 摂動に対して真に堅牢であるかどうかを調査し、そのグローバルな注目メカニズムが優れた堅牢性を保証するとする一般的な信念に挑戦すること。
• ViTs が畳み込みニューラルネットワーク（CNNs）よりも脆弱になる特定のタイプの摂動を同定すること。特に、ViTs の基本的構成要素たる個々の画像パッチを標的にすること。
• 自己注意メカニズムをパッチレベルの最適化によって活用することで、ViTs を体系的に弱体化させる新しい攻撃フレームワークを構築すること。
• 摂動の密度と強度が ViTs と CNN の間の堅牢性ランク付けに与える影響を分析し、今後の防御策やアーキテクチャ設計のための知見を提供すること。

提案手法

• ViTs の基本的単位たる個々のパッチを標的にし、パッチレベルでの摂動最適化によって自己注意計算を攪乱する攻撃フレームワーク Patch-Fool を提案する。
• モデル出力への寄与度と注目重みに基づいて、最も影響力のあるパッチを特定する注意に配慮したパッチ選択戦略を導入する。
• 自己注意メカニズムで高頻度に注目されているパッチに焦点を当てることで、モデルの予測誤差を最大化する注意に配慮した損失関数を設計する。
• $L_2$ および $L_∞$ の制約下で反復的最適化手法を用い、目に見えにくいが効果的な摂動を選択したパッチに生成する。
• さまざまな摂動設定下で、標準的な ImageNet ベンチマーク上での複数の ViT および CNN アーキテクチャ（例：DeiT, ResNet-50）に対して攻撃を評価する。
• 摂動密度と強度が ViTs と CNN の間の堅牢性ランク付けに与える影響を調査するため、2 種類の変種（Sparse Patch-Fool および Mild Patch-Fool）を導入する。

実験結果

リサーチクエスチョン

• RQ1 どのようなタイプの摂動において、ビジョントランスフォーマーが畳み込みニューラルネットワークよりも脆弱になるか？
• RQ2 自己注意メカニズムを活用することで、パッチレベルの攻撃が ViTs のグローバル特徴表現を効果的に回避できるか？
• RQ3 摂動の密度と強度が ViTs と CNN の間の堅牢性ランク付けにどのように影響するか？
• RQ4 自己注意メカニズムがグローバル相互作用に依存しているという点が真に堅牢性をもたらすのか、それとも ViTs は局所的で高強度のパッチ摂動に対してより感受性を示すのか？
• RQ5 提案された Patch-Fool 攻撃は、ViTs をだます効果を発揮するとともに、目立たないままに維持できるか？

主な発見

• すべての評価設定において Patch-Fool 攻撃下で ViTs は一貫して CNN よりも脆弱であり、DeiT-S は $L_∞$ 攻撃で 4 パッチ、$͑ = 128/255$ の条件下でわずか 6.25% の堅牢精度にとどまる。
• $L_∞$ 制約下では、DeiT-S は低摂動強度（$͑ = 8/255$）では ResNet-50 よりもより堅牢であったが、高強度（$͑ = 128/255$）になると著しく脆弱になることが判明し、強度に応じて堅牢性ランクが変化することが示された。
• Sparse Patch-Fool（少数のパッチにのみ摂動を加える）でさえも高い攻撃成功率を達成しており、ViTs が低密度攻撃に対しても脆弱であることが示された。
• Mild Patch-Fool の実験により、摂動強度（$͑$）が $8/255$ から $128/255$ に増加するに従い、$L_∞$ 制約下で DeiT-S の堅牢精度は 67.23% から 6.25% に低下する一方、ResNet-50 は比較的安定していることが明らかになった。
• ViTs と CNN の間の堅牢性ランク付けは固定ではなく、摂動の密度と強度に強く依存しており、これらの要因が増加するにつれて ViTs はより脆弱になる。
• 敵対的訓練を施した ViTs や CNN に対しても Patch-Fool は成功裏に効果を発揮しており、標準的な敵対的訓練がこのパッチレベルの脆弱性を完全に是正していないことが示された。