[論文レビュー] On the Adversarial Robustness of Visual Transformers

Rulin Shao, Zhouxing Shi+3 more|arXiv (Cornell University)|Mar 29, 2021

Adversarial Robustness in Machine Learning参考文献 54被引用数 50

ひとこと要約

本論文は、ビジョントランスフォーマー（ViTs）における敵対的ロバストネスの最初の包括的分析を提供し、ViTsが畳み込みニューラルネットワーク（CNNs）と比較して敵対的摂動に対して優れたロバストネスを示すことを実証している。研究では、ViTsが低レベルの情報が少なく、より汎用性の高い高レベル特徴を学習し、高周波数ノイズに対して感受性が低いことにより、このロバストネスが生じると説明している。一方、ハイブリッドアーキテクチャやモデルサイズの拡大は、一貫したロバストネスの向上をもたらさない。

ABSTRACT

Following the success in advancing natural language processing and understanding, transformers are expected to bring revolutionary changes to computer vision. This work provides the first and comprehensive study on the robustness of vision transformers (ViTs) against adversarial perturbations. Tested on various white-box and transfer attack settings, we find that ViTs possess better adversarial robustness when compared with convolutional neural networks (CNNs). We summarize the following main observations contributing to the improved robustness of ViTs: 1) Features learned by ViTs contain less low-level information and are more generalizable, which contributes to superior robustness against adversarial perturbations. 2) Introducing convolutional or tokens-to-token blocks for learning low-level features in ViTs can improve classification accuracy but at the cost of adversarial robustness. 3) Increasing the proportion of transformers in the model structure (when the model consists of both transformer and CNN blocks) leads to better robustness. But for a pure transformer model, simply increasing the size or adding layers cannot guarantee a similar effect. 4) Pre-training on larger datasets does not significantly improve adversarial robustness though it is critical for training ViTs. 5) Adversarial training is also applicable to ViT for training robust models. Furthermore, feature visualization and frequency analysis are conducted for explanation. The results show that ViTs are less sensitive to high-frequency perturbations than CNNs and there is a high correlation between how well the model learns low-level features and its robustness against different frequency-based perturbations.

研究の動機と目的

• ビジョントランスフォーマー（ViTs）の敵対的ロバストネスを畳み込みニューラルネットワーク（CNNs）と比較して調査すること。
• ViTsの敵対的攻撃に対するロバストネスに影響を与えるアーキテクチャ的およびトレーニング要因を同定すること。
• 低レベル特徴の学習が周波数ベースの摂動に対する感受性に与える影響を分析すること。
• 敵対的トレーニングおよび大規模データセットでの事前学習が、ViTのロバストネス向上にどの程度効果を発揮するかを評価すること。

提案手法

• 複数のデータセットを対象に、ViTsおよびCNNsに対して広範なホワイトボックスおよびトランスファー攻撃評価を実施した。
• 特徴の可視化および周波数分析を実施し、ViTsとCNNsが敵対的摂動にどのように反応するかを比較した。
• 畳み込みモジュールやトークン・ツー・トークンブロックを組み込んだことで、ViTアーキテクチャを変更し、そのロバストネスへの影響を評価した。
• ハイブリッドモデルにおけるトランスフォーマーブロックの割合を変化させ、アーキテクチャ構成とロバストネスの関係を調査した。
• ViTに敵対的トレーニングを適用し、ロバストネス向上への有効性を評価した。
• 低レベル特徴の学習と高周波数摂動への感受性との相関関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 ホワイトボックスおよびトランスファー攻撃設定下で、ビジョントランスフォーマーの敵対的ロバストネスは畳み込みニューラルネットワークと比べてどの程度か？
• RQ2 ViTsの敵対的摂動に対する改善されたロバストネスに寄与するアーキテクチャ的要素や設計選択は何か？
• RQ3 ViTsに畳み込みモジュールやトークン・ツー・トークンブロックを組み込むと、ロバストネスおよび特徴表現にどのような影響を与えるか？
• RQ4 大規模データセットでの事前学習は、ViTsの敵対的ロバストネスをどの程度向上させるか？
• RQ5 敵対的トレーニングは、ビジョントランスフォーマー・モデルのロバストネスを効果的に向上させることができるか？

主な発見

• さまざまな攻撃設定において、特にトランスファー攻撃において、ビジョントランスフォーマーは畳み込みニューラルネットワークをはるかに上回る敵対的ロバストネスを示している。
• ViTsは、低レベルの情報が少なく、より汎用性の高い特徴を学習するため、敵対的摂動に対してロバストである。
• 畳み込みモジュールやトークン・ツー・トークンブロックをViTsに組み込むと、クリーン精度は向上するが、低レベル特徴への感受性が増加するため敵対的ロバストネスは低下する。
• ハイブリッドモデルにおけるトランスフォーマーブロックの割合を増やすことでロバストネスは向上するが、深さや幅を単に増大させた純粋なViTモデルのスケーリングでは、ロバストネスの向上が保証されない。
• 大規模データセットでの事前学習は、敵対的ロバストネスを顕著に向上させないが、ViTsを効果的に学習させるために不可欠である。
• 敵対的トレーニングはViTsに対して有効であり、ロバストなビジョントランスフォーマー・モデルを訓練するのに利用可能であることが確認され、このアーキテクチャへの適用可能性が裏付けられた。