[論文レビュー] Delving Deep into the Generalization of Vision Transformers under Distribution Shifts

Chongzhi Zhang, Mingyuan Zhang+7 more|arXiv (Cornell University)|Jun 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 9

ひとこと要約

本論文は、さまざまな分布シフト下におけるビジョントランスフォーマー（ViTs）の分布外（OOD）一般化を調査し、ViTsが形状や構造に対する強いインダクティブバイアスを学習しており、人間の認知と整合的であるため、CNNよりも優れたOOD性能を示すことを明らかにした。敵対的学習、情報理論、自己教師あり学習を用いた滑らかな訓練を組み合わせた一般化強化ViTs（GE-ViTs）を導入することで、元のViTsに比べてOODデータで4%の精度向上を達成し、モデルが大きいほどその恩恵をより大きく受けることがわかった。

ABSTRACT

Vision Transformers (ViTs) have achieved impressive performance on various vision tasks, yet their generalization under distribution shifts (DS) is rarely understood. In this work, we comprehensively study the out-of-distribution (OOD) generalization of ViTs. For systematic investigation, we first present a taxonomy of DS. We then perform extensive evaluations of ViT variants under different DS and compare their generalization with Convolutional Neural Network (CNN) models. Important observations are obtained: 1) ViTs learn weaker biases on backgrounds and textures, while they are equipped with stronger inductive biases towards shapes and structures, which is more consistent with human cognitive traits. Therefore, ViTs generalize better than CNNs under DS. With the same or less amount of parameters, ViTs are ahead of corresponding CNNs by more than 5% in top-1 accuracy under most types of DS. 2) As the model scale increases, ViTs strengthen these biases and thus gradually narrow the in-distribution and OOD performance gap. To further improve the generalization of ViTs, we design the Generalization-Enhanced ViTs (GE-ViTs) from the perspectives of adversarial learning, information theory, and self-supervised learning. By comprehensively investigating these GE-ViTs and comparing with their corresponding CNN models, we observe: 1) For the enhanced model, larger ViTs still benefit more for the OOD generalization. 2) GE-ViTs are more sensitive to the hyper-parameters than their corresponding CNN models. We design a smoother learning strategy to achieve a stable training process and obtain performance improvements on OOD data by 4% from vanilla ViTs. We hope our comprehensive study could shed light on the design of more generalizable learning architectures.

研究の動機と目的

• 実世界の分布シフト下におけるビジョントランスフォーマー（ViTs）の分布外（OOD）一般化行動を理解すること。
• 多様な分布シフトの種類において、ViTとCNNの一般化性能を比較すること。
• ViTsが学習するインダクティブバイアスを同定し、それらがなぜ優れたOOD性能を発揮するのかを解明すること。
• 敵対的学習、情報理論、自己教師あり学習を用いた一般化強化ViTs（GE-ViTs）を設計・評価し、OOD一般化を向上させること。
• GE-ViTsのハイパーパrameterへの感受性を分析し、安定した収束を実現する滑らかな訓練戦略を提案すること。

提案手法

• 意味的コンセプトの変更に基づく分布シフトの分類法を提案：背景、汚損、テクスチャ、スタイルシフト。
• DeiT、VGG-16、BiTなど、ViTの変種とそれに対応するCNNを用い、5種類のOODシフトタイプで広範な評価を実施。
• 一般化性能向上を目的とした3種類のGE-ViTsを導入：T-ADV（敵対的学習）、T-MME（相互情報量最大化）、T-SSL（自己教師あり学習）。
• 特に敵対的学習や情報理論的手法において重要な安定性を確保するため、滑らかな訓練戦略を適用。
• 複数のベンチマークで統一された評価プロトコルを用い、OOD性能と一般化ギャップを比較。
• 標準的な指標（例：OODシフトベンチマークにおけるトップ-1精度）を用いて改善を検証。

実験結果

リサーチクエスチョン

• RQ1 ViTsは、CNNと比較して、どのような種類の分布シフト下で一般化するか？
• RQ2 ViTsが学習するインダクティブバイアスは何か？また、それらは形状や構造への感受性といった人間の認知的特徴とどのように整合するか？
• RQ3 モデルスケーリングは、ViTsのOOD一般化性能にどの程度寄与するか？
• RQ4 一般化強化ViTs（GE-ViTs）は、多様なOODシフトタイプにおいて一貫した性能向上を達成できるか？
• RQ5 GE-ViTsはハイパーパrameterにどの程度感受性を示すか？また、滑らかな訓練戦略はその訓練の安定化に寄与するか？

主な発見

• ViTsは、ほとんどの分布シフト下でCNNよりも優れた一般化性能を示し、同等または少ないパラメータ数でOODデータにおいて5%以上のトップ-1精度の向上を達成した。
• ViTsは形状や構造へのバイアスが強く、テクスチャや背景へのバイアスは弱く、人間の知覚とより一致する傾向を示した。
• モデルスケーリングが進むにつれて、ViTsの形状／構造バイアスが強化され、分布内と分布外の性能ギャップが徐々に縮小した。
• GE-ViTsは、元のViTsに比べてOODデータで4%の性能向上を達成し、3つの強化手法すべてで一貫した改善が確認された。
• より大きなViTsは一般化強化に対してより大きな恩恵を受けることが示され、OOD一般化におけるスケーラビリティの利点が裏付けられた。
• GE-ViTsはCNNの対応モデルに比べてハイパーパrameterにより感受性を示すため、安定した収束を実現するためには滑らかな訓練戦略の導入が不可欠であることがわかった。