[論文レビュー] A Review of Transformer-Based Models for Computer Vision Tasks: Capturing Global Context and Spatial Relationships

Gracile Astlin Pereira, Muhammad Azhar Hussain|arXiv (Cornell University)|Aug 27, 2024

Image Retrieval and Classification Techniques被引用数 11

ひとこと要約

コンピュータビジョン向けの transformer ベースアーキテクチャの包括的な調査。分類、検出、分割などのタスクにおいて、グローバルな文脈を捉え、空間的関係をモデル化する方法を詳述する。

ABSTRACT

Transformer-based models have transformed the landscape of natural language processing (NLP) and are increasingly applied to computer vision tasks with remarkable success. These models, renowned for their ability to capture long-range dependencies and contextual information, offer a promising alternative to traditional convolutional neural networks (CNNs) in computer vision. In this review paper, we provide an extensive overview of various transformer architectures adapted for computer vision tasks. We delve into how these models capture global context and spatial relationships in images, empowering them to excel in tasks such as image classification, object detection, and segmentation. Analyzing the key components, training methodologies, and performance metrics of transformer-based models, we highlight their strengths, limitations, and recent advancements. Additionally, we discuss potential research directions and applications of transformer-based models in computer vision, offering insights into their implications for future advancements in the field.

研究の動機と目的

• コンピュータビジョンへ適応したトランスフォーマーアーキテクチャが、グローバルな文脈と空間的関係をどのように捉えるかを評価する。
• 主要モデル（ViT、DETR、SMCA、SWIN Transformer、Anchor DETR、Deformable DETR）とそれらのアーキテクチャ的イノベーションを比較する。
• 画像分類、物体検出、セマンティックセグメンテーションにおける訓練手法と性能動向を評価する。
• トランスフォーマー基盤のCVモデルの長所・限界・将来の方向性を特定する。

提案手法

• CVタスクに適応した主要なトランスフォーマーアーキテクチャを調査・統合する。
• 各モデルのアーキテクチャ要素（パッチ埋め込み、エンコーダ/デコーダ、注意機構）を説明する。
• 訓練戦略を論じる（DETRにおける二部マッチング、可変形注意などの訓練戦略を含む）。
• 自己注意と階層的処理を通じて、グローバル文脈と空間関係がどのように捉えられるかを強調する。

Figure 1: Vision Transformer Architecture

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンにおけるトランスフォーマーベースのモデルは、CNNベースのアプローチと比較してどのようにグローバル文脈を捉えるのか？
• RQ2 ViT、DETR、SMCA、SWIN Transformer、Anchor DETR、Deformable DETR における、CVタスクの性能を向上させるアーキテクチャ上のイノベーションは何か？
• RQ3 これらのモデルにおける訓練戦略が、物体検出、セグメンテーション、分類の性能にどう影響するか？
• RQ4 トランスフォーマー基盤のCVアーキテクチャの主な制限と今後の方向性は何か？

主な発見

• 自己注意を用いてグローバルな依存関係を捉え、画像を全体として処理することを可能にする。
• さまざまなアーキテクチャは、性能と効率のバランスを取るために、DETRの二部マッチング、可変形注意、階層的または窓状の注意などの革新を導入している。
• SWIN Transformer は、局所と全体の文脈を効率的に捉える多階層的なマルチスケール手法を採用している。
• Anchor DETR および DETR は、アンカーに基づく局在化とトランスフォーマーに基づく推論のブレンドを示している。
• SMCA と DEformable Transformer は、局所化の改善と変形可能な物体の処理を目的に、空間認識型の注意を強調する。

Figure 2: DEtection TRansformer Architecture