[論文レビュー] Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem

Zheng Wang, Wenjie Ruan|arXiv (Cornell University)|Aug 1, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿は、通常微分方程式（ODE）近似を介して、視覚変換器（ViT）のロバストネスとコーシー問題を結びつける画期的な理論的枠組みを提示する。この枠組みにより、ViTがリプシッツ連続であることが証明された。本研究では、最初の層と最後の層がロバストネスに著しく影響することが明らかになった。また驚くべきことに、マルチヘッド自己注意（MSA）は弱い攻撃（例：FGSM）においてのみロバストネスを向上させるが、強い攻撃（例：PGD）では逆にロバストネスを損なうことが判明した。

ABSTRACT

Recent research on the robustness of deep learning has shown that Vision Transformers (ViTs) surpass the Convolutional Neural Networks (CNNs) under some perturbations, e.g., natural corruption, adversarial attacks, etc. Some papers argue that the superior robustness of ViT comes from the segmentation of its input images; others say that the Multi-head Self-Attention (MSA) is the key to preserving the robustness. In this paper, we aim to introduce a principled and unified theoretical framework to investigate such an argument on ViT's robustness. We first theoretically prove that, unlike Transformers in Natural Language Processing, ViTs are Lipschitz continuous. Then we theoretically analyze the adversarial robustness of ViTs from the perspective of the Cauchy Problem, via which we can quantify how the robustness propagates through layers. We demonstrate that the first and last layers are the critical factors to affect the robustness of ViTs. Furthermore, based on our theory, we empirically show that unlike the claims from existing research, MSA only contributes to the adversarial robustness of ViTs under weak adversarial attacks, e.g., FGSM, and surprisingly, MSA actually comprises the model's adversarial robustness under stronger attacks, e.g., PGD attacks.

研究の動機と目的

• 視覚変換器（ViT）における敵対的ロバストネスを分析するための原理的で統一的な理論的枠組みを確立し、経験的観察にとどまらない枠組みを提供すること。
• マルチヘッド自己注意（MSA）がViTのロバストネスに果たす役割を調査し、MSAが本質的にロバストネスを向上させるという一般的な主張に疑問を呈すること。
• コーシー問題の定式化を用いて、ロバストネスがViTの各層をどのように伝播するかを定量的に評価すること。
• 特に最初の層と最後の層といった、ViTのロバストネスに最も顕著に影響を与える構造的要素を同定すること。

提案手法

• 各トランスフォーマーブロックがODEにおける非線形関数F(x)に対応する、元のODE系の前進オイラー近似としてViTをモデル化する。ここで、dx/dt = F(x, t) である。
• 入力周辺でのF(x)の一次テイラー展開を用い、局所的ロバストネスをヤコビアンの最大特異値と結びつける。このヤコビアンの最大特異値は、コーシー問題フレームワークから導出される。
• 特定の仮定の下で、ViTがリプシッツ連続であることを証明する。これは、ロバストネスの理論的分析の基盤となる。
• 各ブロックのヤコビアンの最大特異値を局所的ロバストネスの代理指標として用い、層間におけるロバストネスの伝播を定量化可能にする。
• εとステップサイズを制御した状態で、FGSM、PGD-7、CW攻撃におけるロバストネスを実験的に評価し、モデルの深さとパッチサイズに応じてViTとCoViTを比較する。
• 計算上の非現実性を考慮し、大きな入力に対してヤコビアンの特異値に上界を適用する。これは主要な近似であると認められている。

実験結果

リサーチクエスチョン

• RQ1 敵対的ロバストネスを、原理的で整合性のある理論的枠組みを用いて、視覚変換器（ViT）において形式的に定量化することは可能か？
• RQ2 マルチヘッド自己注意（MSA）は、攻撃強度が異なる条件下でViTのロバストネスにどのような役割を果たすのか？
• RQ3 ViTエンコーダー内のどの層が全体の敵対的ロバストネスに最も顕著に影響を与えるか？
• RQ4 一部の先行研究が示唆するように、入力トークン化やパッチエンコーディング機構が、MSAよりもロバストネスに寄与しているとされるのは真か？
• RQ5 強い敵対的攻撃下で、ViTのロバストネスはCoViTと比べてどう異なるか？これはMSAの防御能力について何を示唆するか？

主な発見

• ODE近似の仮定の下で、ViTが理論的にリプシッツ連続であることが証明された。これにより、ロバストネス分析の厳密な基盤が得られた。
• ViTエンコーダーの最初の層と最後の層が、敵対的ロバストネスに最も重要な影響を与える要因であることが特定された。これは、ヤコビアンの最大特異値の上限を制限するからである。
• MSAは、FGSMのような弱い攻撃においてのみロバストネスを向上させる。大規模モデルでさえも、防御的利点は最小限にとどまる。
• PGD-7 や CW のような強い攻撃では、MSAは逆に敵対的ロバストネスを損なうことが判明し、これまでのMSAの防御的強さに関する主張とは矛盾する。
• CoViTモデルは、特に大きなパッチサイズを用いる場合、強い攻撃下で一貫してViTを上回る性能を示した。これは、MSAの動的受容fieldが高強度の摂動に対しては効果が薄いことを示唆している。
• ロバスト精度はヤコビアンの最大特異値の上界と相関しており、理論的枠組みの予測能力が裏付けられた。