[論文レビュー] Transformer-Based Visual Segmentation: A Survey

Xiangtai Li, Henghui Ding+7 more|arXiv (Cornell University)|Apr 19, 2023

Advanced Neural Network Applications被引用数 11

ひとこと要約

このサーベイは Transformerベースの視覚セグメンテーション手法を概説し、DETR に似たメタアーキテクチャを提案し、2D/3Dおよび医用ドメインのコンポーネント設計と適用範囲で手法を分類する。

ABSTRACT

Visual segmentation seeks to partition images, video frames, or point clouds into multiple segments or groups. This technique has numerous real-world applications, such as autonomous driving, image editing, robot sensing, and medical analysis. Over the past decade, deep learning-based methods have made remarkable strides in this area. Recently, transformers, a type of neural network based on self-attention originally designed for natural language processing, have considerably surpassed previous convolutional or recurrent approaches in various vision processing tasks. Specifically, vision transformers offer robust, unified, and even simpler solutions for various segmentation tasks. This survey provides a thorough overview of transformer-based visual segmentation, summarizing recent advancements. We first review the background, encompassing problem definitions, datasets, and prior convolutional methods. Next, we summarize a meta-architecture that unifies all recent transformer-based approaches. Based on this meta-architecture, we examine various method designs, including modifications to the meta-architecture and associated applications. We also present several closely related settings, including 3D point cloud segmentation, foundation model tuning, domain-aware segmentation, efficient segmentation, and medical segmentation. Additionally, we compile and re-evaluate the reviewed methods on several well-established datasets. Finally, we identify open challenges in this field and propose directions for future research. The project page can be found at https://github.com/lxtGH/Awesome-Segmentation-With-Transformer. We will also continually monitor developments in this rapidly evolving field.

研究の動機と目的

• Transformerベースの視覚セグメンテーションの問題空間とデータセットを定義する。
• セグメンテーションタスクのためにDETRを拡張した統一的なメタアーキテクチャを提示する。
• バックボーン、デコーダ設計、オブジェクトクエリによってTransformerベースのセグメンテーション手法を分類する。
• 3D点群、ファウンデーションモデルのチューニング、ドメイン認識型および医用セグメンテーションなどのサブ分野を調査する。
• 標準ベンチマークで代表的な手法を評価し、将来の研究方向を概説する。

提案手法

• セグメンテーションタスクのためのバックボーン、オブジェクトクエリ、及びトランスフォーマーDecoderを備えたDETRに触発されたメタアーキテクチャを導入する。
• 特徴ピラミッド（Neck）とマルチスケール表現がオブジェクトクエリをどのように精緻化するかを説明する。
• 異なるセグメンテーションタスクに対するピクセル単位およびマスク単位の予測表現を説明する。
• 二部マッチング（Hungarianアルゴリズム）による訓練と、1対1のクエリとグラウンドトゥルースの割り当てについて議論する。
• Representation Learning、Interaction Design in Decoder、Optimizing Object Query、Using Query For Association、Conditional Query Generation による手法の分類学を提供する。
• 3D点群セグメンテーション、ファウンデーションモデルのチューニング、医用セグメンテーションなどのタスク特有の拡張を概説する。

実験結果

リサーチクエスチョン

• RQ1 What constitutes a unified framework for transformer-based visual segmentation across semantic, instance, and panoptic tasks?
• RQ2 How can DETR-like architectures be adapted and extended to handle 2D, video, and 3D segmentation efficiently?
• RQ3 What design choices in backbones, necks, and queries most impact performance across datasets and tasks?
• RQ4 How do query-based associations and conditional query generation enable cross-task and cross-domain segmentation?
• RQ5 What are the open challenges and future directions in transformer-based segmentation?

主な発見

• Transformer-based methods generally adopt a DETR-like meta-architecture with a backbone, object queries, and a decoder for segmentation tasks.
• Across tasks, two main mask representations are used: per-mask predictions for instance-centric tasks and pixel-wise predictions for semantic-level segmentation.
• Bipartite matching with Hungarian assignment is commonly used during training to achieve one-to-one correspondence between predictions and ground truth.
• FPN and multi-scale features are widely used to handle scale variation and refine queries across architectures.
• The survey covers and re-evaluates methods on standard datasets and identifies open challenges and future directions in the field.