[論文レビュー] Recent Advances in Vision Transformer: A Survey and Outlook of Recent Work

Khawar Islam|arXiv (Cornell University)|Mar 3, 2022

Infrared Target Detection Methodologies被引用数 33

ひとこと要約

この論文は Vision Transformer (ViT) の発展を概観し、アーキテクチャ、トレーニング、応用を分析し、将来の研究方向性と課題について論じる。

ABSTRACT

Vision Transformers (ViTs) are becoming more popular and dominating technique for various vision tasks, compare to Convolutional Neural Networks (CNNs). As a demanding technique in computer vision, ViTs have been successfully solved various vision problems while focusing on long-range relationships. In this paper, we begin by introducing the fundamental concepts and background of the self-attention mechanism. Next, we provide a comprehensive overview of recent top-performing ViT methods describing in terms of strength and weakness, computational cost as well as training and testing dataset. We thoroughly compare the performance of various ViT algorithms and most representative CNN methods on popular benchmark datasets. Finally, we explore some limitations with insightful observations and provide further research direction. The project page along with the collections of papers are available at https://github.com/khawar512/ViT-Survey

研究の動機と目的

• 自動注意機構と Vision Transformers の基本概念を導入する。
• 最近のトップパフォーマンスViT手法の総合的な概説と、強み・弱み・コストの分析を提供する。
• ViT 手法を人気のあるベンチマークでCNNと比較し、限界と今後の研究方向を論じる。
• ViT の分類、セグメンテーション、ポイントクラウド、再識別などの応用を強調する。

提案手法

• ViT パイプラインを説明する: パッチ分割、パッチ埋め込み、位置エンコーディング、クラスToken、トランスフォーマーエンコーダ、MLPヘッド。
• 正規化とスキップ接続を含む、マルチヘッド自己注意とMLPブロックで構成されるトランスフォーマーエンコーダを説明する。
• キーViT バリアントと訓練/アーキテクチャの革新を調査する（例:蒸留、跨注意、ローカリティ、深さ調整）。
• 分野横断のViT応用を要約する（分類、セグメンテーション、医用画像、3D点雲、再識別）。
• ViT の進展のタイムラインの可視化と将来の研究方向の議論を提供する。

実験結果

リサーチクエスチョン

• RQ1 Vision Transformers が視覚ベンチマークで CNN に匹敵または上回ることを可能にするコアなアーキテクチャ要素と訓練戦略は何か。
• RQ2 ViT バリアントは分類やセグメンテーションなどのタスクで、精度、計算コスト、データ効率の点でどう比較されるか。
• RQ3 ViT の限界は何か、そして将来の方向性はそれらをどう解決できるか（例: プルーニング, CNN-ViT ハイブリッド, 説明性, 位置エンコーディング）

主な発見

• ViTs は自己注意を活用し長距離依存をモデル化し、ラベルなしデータセットで大規模に訓練し、小規模データで微調整できる。
• いくつかのバリアントは局所性メカニズム、クロスアテンション、蒸留、トークン対トークン処理などの改良を導入し、性能と効率を高める。
• ViTs は画像分類、セグメンテーション（セマンティックおよび医用）、3D点雲、人物再識別など多様な視覚タスクに成功裏に適用されている。
• 比較調査は、ViTs が強力な結果を達成し、競争力のあるまたは低い計算コストを持つ場合がある一方、訓練戦略とデータ要件がなお重要な要因であると示唆している。
• 将来の方向性は、モデルプルーニング、CNN-ViT ハイブリッド、説明可能性、および位置エンコーディングスキームの探査を強調する。