[論文レビュー] A survey of the Vision Transformers and their CNN-Transformer based Variants

Asifullah Khan, Zunaira Rauf+5 more|arXiv (Cornell University)|May 17, 2023

Advanced Neural Network Applications被引用数 13

ひとこと要約

この論文はVision TransformersとそれらのCNN-Transformerハイブリッドを概説し、ハイブリッドアーキテクチャの分類法を提案し、注意機構・位置埋め込み・多尺度処理・畳み込み成分を論じる。

ABSTRACT

Vision transformers have become popular as a possible substitute to convolutional neural networks (CNNs) for a variety of computer vision applications. These transformers, with their ability to focus on global relationships in images, offer large learning capacity. However, they may suffer from limited generalization as they do not tend to model local correlation in images. Recently, in vision transformers hybridization of both the convolution operation and self-attention mechanism has emerged, to exploit both the local and global image representations. These hybrid vision transformers, also referred to as CNN-Transformer architectures, have demonstrated remarkable results in vision applications. Given the rapidly growing number of hybrid vision transformers, it has become necessary to provide a taxonomy and explanation of these hybrid architectures. This survey presents a taxonomy of the recent vision transformer architectures and more specifically that of the hybrid vision transformers. Additionally, the key features of these architectures such as the attention mechanisms, positional embeddings, multi-scale processing, and convolution are also discussed. In contrast to the previous survey papers that are primarily focused on individual vision transformer architectures or CNNs, this survey uniquely emphasizes the emerging trend of hybrid vision transformers. By showcasing the potential of hybrid vision transformers to deliver exceptional performance across a range of computer vision tasks, this survey sheds light on the future directions of this rapidly evolving architecture.

研究の動機と目的

• コンピュータビジョンにおけるCNNの代替としてのVision Transformersの台頭を強調することで研究の動機づけを行う。
• 最近のVision Transformerアーキテクチャの分類法を提供し、特にCNN-Transformerハイブリッド種に重点を置く。
• 注意機構・位置埋め込み・多尺度処理・畳み込み成分などの中核的特徴を論じる。
• ハイブリッドアーキテクチャとそれらの視覚タスク全体における実用的な性能に焦点を当て、過去の調査と比較する。

提案手法

• 最近のVision TransformerおよびCNN-Transformerハイブリッドモデルの系統的な文献総説。
• CNNと自己注意がどのように統合されているかに基づいてアーキテクチャを分類する分類法の構築。
• 注意・位置埋め込み・多尺度処理・畳み込み演算を含むアーキテクチャ的特徴の批判的議論。

実験結果

リサーチクエスチョン

• RQ1 Vision TransformerとそのCNN-Transformerハイブリッドの主なアーキテクチャ系は何か？
• RQ2 ハイブリッドアーキテクチャは局所的およびグローバルな画像構造を捉えるために畳み込みと自己注意をどのように組み合わせているか？
• RQ3 共通の設計選択肢（例：位置埋め込み・多尺度処理）とそれらが性能に与える影響は何か？
• RQ4 ハイブリッドVision Transformerにおける今後の方向性と未解決の課題は何か？

主な発見

• ハイブリッドVision TransformerはCNN-Transformer統合を通じて局所的およびグローバルな画像表現の両方を効果的に活用する。
• 注意機構・位置埋め込み・多尺度処理はハイブリッドアーキテクチャの中核であり、性能に影響を与える。
• 調査対象の文献は、純粋なトランスフォーマーやCNNからハイブリッド設計への移行を、多様な視覚タスクのために強調している。
• 本論文はハイブリッドVision Transformerの将来の研究と適用を導く分類法と統合を提供する。