[論文レビュー] Vision Transformers: State of the Art and Research Challenges

Bo-Kai Ruan, Hong-Han Shuai+1 more|arXiv (Cornell University)|Jul 7, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

本サーベイは、ビジョントランスフォーマー（ViT）の包括的なレビューを提供し、アーキテクチャの革新、トレーニング技術、自己教師あり学習手法をカバーしている。画像分類や物体検出などの視覚タスクにおいて最先端のパフォーマンスを達成しており、データ不足、固定入力サイズ、耐性、モデル効率、特徴の崩壊といった主な課題を特定し、ViT開発における今後の研究方向性に関する洞察を提供している。

ABSTRACT

Transformers have achieved great success in natural language processing. Due to the powerful capability of self-attention mechanism in transformers, researchers develop the vision transformers for a variety of computer vision tasks, such as image recognition, object detection, image segmentation, pose estimation, and 3D reconstruction. This paper presents a comprehensive overview of the literature on different architecture designs and training tricks (including self-supervised learning) for vision transformers. Our goal is to provide a systematic review with the open research opportunities.

研究の動機と目的

• ビジョントランスフォーマーのアーキテクチャとその設計的革新に関する体系的文献レビューを提供すること。
• ViTのパフォーマンスを向上させるデータオーグメンテーションや自己教師あり学習を含むトレーニングテクニックを分析すること。
• データ不足、耐性、固定入力サイズ、モデル効率といった未解決の研究課題を特定し、議論すること。
• 特徴の崩壊やインダクティブバイアスの欠如といった現在のViTの制限を検討し、改善の方向性を提案すること。
• ビジョントランスフォーマー開発における主要な知見と未解決問題を統合することで、今後の研究を導くこと。

提案手法

• データ不足や局所性の欠如といった制限を緩和するためのアーキテクチャ変更を通じて、変種ViTアーキテクチャをサーベイ・分類すること。
• 一般化性能を向上させるために、強力なデータオーグメンテーション、ディスティルレーション、学習率スケジューリングといったトレーニングテクニックを分析すること。
• マスクされたパッチの再構築や対照的学習を用いてラベルなしで事前学習を行うMAE（マスクドオートエンコーダ）やMoCoといった自己教師あり学習手法をレビューすること。
• 自己教師あり事前学習におけるマスクされたパッチ予測のためのトークン化表現を生成するために、離散的VAEの使用を評価すること。
• ハイブリッドアーキテクチャや局所的アテンション機構を用いて、CNNからのインダクティブバイアスをViTに統合することで、サンプル効率を向上させること。
• 特徴の崩壊を緩和するためのアーキテクチャ的・トレーニング戦略の変更を提案し、学習可能なパラメータや追加モジュール（例：T2T-ViT、DeepViT）を導入すること。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーにおけるアーキテクチャ的変更は、画像分類や物体検出などの視覚タスクでのパフォーマンスをどのように向上させるか？
• RQ2 データオーグメンテーションや自己教師あり学習を含むトレーニングテクニックは、ViTの一般化性能を著しく向上させ、データ依存性を低減するか？
• RQ3 マスクされたパッチの再構築（例：MAE）を用いた自己教師あり事前学習は、教師あり事前学習と同等またはそれ以上のパフォーマンスを達成できるか、その程度は？
• RQ4 入力の不具合に対する耐性やモバイルデバイスでの効率性といった要因が、ViTの実世界への展開を妨げる主な課題であるとすれば、その影響はどの程度か？
• RQ5 推論オーバーヘッドを著しく増加させることなく、深層ViTにおける特徴の崩壊をどのように緩和できるか？

主な発見

• ビジョントランスフォーマーは、画像分類、物体検出、セマンティックセグメンテーションを含む多様なコンピュータビジョンタスクで最先端のパフォーマンスを達成している。
• MAE（マスクドオートエンコーダ）のような自己教師あり学習手法は、ViTエンコーダ・デコーダ構成を用いてマスクされたパッチを再構築することで、前例のない正確さを達成し、教師あり事前学習を上回ることすらある。
• T2T-ViT や DeepViT といったアーキテクチャ的革新は、学習可能なパラメータや局所的インダクティブバイアスを導入することで、特徴の崩壊を効果的に緩和している。
• 強力なデータオーグメンテーションとディスティルレーション技術の使用は、ラベル付きデータが限られる状況でも、ViTの一般化性能と耐性を著しく向上させている。
• 成功を収めているにもかかわらず、ViTは入力の不具合に対して感受性が高く、位置エンコーディングによる固定入力サイズの制約があるため、モバイルデバイスへの展開が制限されている。
• モバイルデバイス向けにモデルサイズを縮小する現在のアプローチは限定的であり、効率的なViT展開における重要な未解決課題であることが浮き彫りになっている。