[論文レビュー] A Light Recipe to Train Robust Vision Transformers

Edoardo Debenedetti, Vikash Sehwag+1 more|arXiv (Cornell University)|Sep 15, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文では、重いデータ拡張をやめ、より強い重み減衰とエプシロン・ウォームアップに置き換えることで、Vision Transformers (ViTs) の敵対的ロバストネスを顕著に向上させる軽量なトレーニングレシピを提案する。ImageNet-1kおよび下流タスクにおいて最先端のロバスト精度を達成し、敵対的訓練下でのResNet-50でさえも上回る。

ABSTRACT

In this paper, we ask whether Vision Transformers (ViTs) can serve as an underlying architecture for improving the adversarial robustness of machine learning models against evasion attacks. While earlier works have focused on improving Convolutional Neural Networks, we show that also ViTs are highly suitable for adversarial training to achieve competitive performance. We achieve this objective using a custom adversarial training recipe, discovered using rigorous ablation studies on a subset of the ImageNet dataset. The canonical training recipe for ViTs recommends strong data augmentation, in part to compensate for the lack of vision inductive bias of attention modules, when compared to convolutions. We show that this recipe achieves suboptimal performance when used for adversarial training. In contrast, we find that omitting all heavy data augmentation, and adding some additional bag-of-tricks ($\varepsilon$-warmup and larger weight decay), significantly boosts the performance of robust ViTs. We show that our recipe generalizes to different classes of ViT architectures and large-scale models on full ImageNet-1k. Additionally, investigating the reasons for the robustness of our models, we show that it is easier to generate strong attacks during training when using our recipe and that this leads to better robustness at test time. Finally, we further study one consequence of adversarial training by proposing a way to quantify the semantic nature of adversarial perturbations and highlight its correlation with the robustness of the model. Overall, we recommend that the community should avoid translating the canonical training recipes in ViTs to robust training and rethink common training choices in the context of adversarial training.

研究の動機と目的

• Vision Transformers (ViTs) が敵対的訓練で使用された場合、畳み込みニューラルネットワーク (CNNs) よりも優れた敵対的ロバストネスを達成できるかどうかを調査すること。
• 標準的なViTトレーニングレシピとは異なる、敵対的訓練に特化したViTs向けのトレーニングレシピを同定すること。
• 標準的なViTトレーニングレシピ（特に重いデータ拡張）が敵対的訓練中にロバストネスを損なう理由を理解すること。
• 敵対的摂動の意味的性質を定量化し、モデルのロバストネスと関連付けること。
• 提案されたレシピがさまざまなViTアーキテクチャに一般化可能であり、小規模データセットにおける効率的なファインチューニングを可能にすることを示すこと。

提案手法

• ImageNet-1kのサブセットを用いて、データ拡張、重み減衰、敵対的訓練のハイパーパramータの影響を系統的にアブレーションスタディで評価する。
• 標準的なViTトレーニングの慣習とは反対に、強力なデータ拡張（例：mixup, CutMix）を最小限の拡張に置き換えることでロバストネスを向上させる。
• 敵対的訓練中にエプシロン・ウォームアップを導入し、摂動の大きさを段階的に増加させることで、トレーニングの安定化を図る。
• 一般化とロバストネスの向上のため、特に強力なデータ拡張がない状況で、より大きな重み減衰値を適用する。
• 主にXCiT（Cross-Covariance Image Transformer）を用いてレシピを検証し、その後他のViTバリアントおよびConvNeXtへと拡張する。
• 勾配可視化と意味的整合性指標を用いて、敵対的摂動を定量化し、その知覚的妥当性を分析する。

実験結果

リサーチクエスチョン

• RQ1 独自の敵対的訓練レシピでトレーニングされたViTは、標準的なCNNsよりも敵対的ロバストネスで優れているか？
• RQ2 なぜViTトレーニングで標準的に行われる重いデータ拡張が、敵対的訓練において性能を低下させるのか？
• RQ3 より単純なデータ拡張戦略とハイパーパramータチューニング（例：重み減衰、エプシロン・ウォームアップ）の組み合わせが、ViTのロバストネスを顕著に向上させられるか？
• RQ4 ロバストなViTsと、ResNetのような標準モデルとの間で、敵対的摂動の意味的性質にはどのような違いがあるか？
• RQ5 提案されたレシピは、さまざまなViTアーキテクチャおよび下流のファインチューニングタスクに一般化可能か？

主な発見

• 提案されたレシピにより、標準的なViTトレーニングレシピと比較して、ImageNet-1kにおけるロバスト精度が13.1%向上した。
• レシピはImageNet-1kおよび下流のファインチューニングタスク（例：CIFAR-100, Caltech-101）において、最先端のロバスト精度を達成し、最大で5.5%のロバスト精度向上を実現した。
• 重いデータ拡張を省略し、重み減衰を増加させ、エプシロン・ウォームアップを適用することで、クリーン精度を損なわずにロバストネスが向上した。
• 新しいレシピでトレーニングされたモデルは、トレーニング中により効果的な1ステップ攻撃を示し、強い敵対的信号学習が行われていることが示された。
• ロバストなXCiTモデルの敵対的摂動は、ResNetのそれよりも人間の知覚とより意味的に整合しているため、より意味のある摂動を通じてロバストネスが向上していると考えられる。
• このレシピは他のViTアーキテクチャおよびConvNeXtに対しても一般化可能であり、わずかな変更で最先端のパフォーマンスを達成できる。