[論文レビュー] A Survey of Visual Transformers

Yang Liu, Yao Zhang+8 more|arXiv (Cornell University)|Nov 11, 2021

Advanced Neural Network Applications参考文献 134被引用数 42

ひとこと要約

論文は分類、検出、セグメンテーションのための100+ の視覚的 Transformer モデルを、画像、点群、およびマルチセンサデータに跨って体系的に調査し、分類法、比較、および今後の方向性を提供します。

ABSTRACT

Transformer, an attention-based encoder-decoder model, has already revolutionized the field of natural language processing (NLP). Inspired by such significant achievements, some pioneering works have recently been done on employing Transformer-liked architectures in the computer vision (CV) field, which have demonstrated their effectiveness on three fundamental CV tasks (classification, detection, and segmentation) as well as multiple sensory data stream (images, point clouds, and vision-language data). Because of their competitive modeling capabilities, the visual Transformers have achieved impressive performance improvements over multiple benchmarks as compared with modern Convolution Neural Networks (CNNs). In this survey, we have reviewed over one hundred of different visual Transformers comprehensively according to three fundamental CV tasks and different data stream types, where a taxonomy is proposed to organize the representative methods according to their motivations, structures, and application scenarios. Because of their differences on training settings and dedicated vision tasks, we have also evaluated and compared all these existing visual Transformers under different configurations. Furthermore, we have revealed a series of essential but unexploited aspects that may empower such visual Transformers to stand out from numerous architectures, e.g., slack high-level semantic embeddings to bridge the gap between the visual Transformers and the sequential ones. Finally, three promising research directions are suggested for future investment. We will continue to update the latest articles and their released source codes at https://github.com/liuyang-ict/awesome-visual-transformers.

研究の動機と目的

• CVタスク（分類、検出、セグメンテーション）全体で視覚Transformerアーキテクチャの体系的な概要を提供する。
• 既存手法をデータストリーム（画像、点群、マルチセンサデータ）および動機に基づいて整理する。
• アーキテクチャの構成要素と訓練方式を分析し、長所・限界・CNNとの関連性を明らかにする。
• さまざまなタスクで視覚Transformerを活用するための将来の研究方向と実務上の考慮点を提案する。

提案手法

• 3つのCVタスクとデータストリームタイプに従って、100件を超える視覚的Transformer作品を検討・分類する。
• バックボーンと構成要素の分類法を提案する（例：パッチベース、クエリベース、階層型、局所/全体注意など）。
• 自己教師あり学習や事前学習データの考慮を含む訓練戦略を要約する。
• さまざまな設定・データレジーム下で手法を比較し、直感的な研究間比較の洞察を提供する。
• 視覚Transformerと系列モデルの未活用側面と、橋渡しメカニズムの可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 CVタスクに用いられる視覚Transformerの主要なアーキテクチャ系は何か？
• RQ2 視覚Transformerは画像分類・検出・セグメンテーションでどのように性能を発揮し、どのデータストリームで作動するか？
• RQ3 限定データでの一般化を助ける訓練戦略と帰納的バイアスは何か？
• RQ4 統合的・マルチタスク・マルチモーダルな視覚Transformerの将来の方向性とギャップは何か？

主な発見

• 視覚Transformerは、さまざまな設定の下でCNNと比較して分類、検出、セグメンテーションのベンチマークで印象的な性能を達成している。
• 局所対全体アテンション、階層設計、深層トランスフォーマーなどの一連の設計動向が存在し、それぞれ精度と効率のトレードオフを提供する。
• CNNの帰納的バイアスを組み込むハイブリッド手法はデータ効率と性能を改善する。
• 局所注意スキーム（例：Swin）、階層トークン、過度平滑化と注意の崩壊を緩和する深層トランスフォーマー技術などの進展。
• 自己-supervisedおよびマルチモーダルな事前学習戦略はViTの高性能を支える重要な役割を果たし、しばしば大規模な外部データセットの必要性を低減する。
• エンコーダ−デコーダの統合をクエリ埋め込みを介して実現する方向性や、マルチタスク・マルチストリーム融合アーキテクチャの可能性といった有望な方向性を強調している。