[논문 리뷰] Transformer-Based Visual Segmentation: A Survey

Xiangtai Li, Henghui Ding외 7명|arXiv (Cornell University)|2023. 04. 19.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 연구는 변환기 기반 시각 분할 방법들을 다루고, DETR과 유사한 메타-아키텍처를 제안하며, 2D/3D 및 의학 분야의 컴포넌트 설계와 응용에 따라 방법들을 분류한다.

ABSTRACT

Visual segmentation seeks to partition images, video frames, or point clouds into multiple segments or groups. This technique has numerous real-world applications, such as autonomous driving, image editing, robot sensing, and medical analysis. Over the past decade, deep learning-based methods have made remarkable strides in this area. Recently, transformers, a type of neural network based on self-attention originally designed for natural language processing, have considerably surpassed previous convolutional or recurrent approaches in various vision processing tasks. Specifically, vision transformers offer robust, unified, and even simpler solutions for various segmentation tasks. This survey provides a thorough overview of transformer-based visual segmentation, summarizing recent advancements. We first review the background, encompassing problem definitions, datasets, and prior convolutional methods. Next, we summarize a meta-architecture that unifies all recent transformer-based approaches. Based on this meta-architecture, we examine various method designs, including modifications to the meta-architecture and associated applications. We also present several closely related settings, including 3D point cloud segmentation, foundation model tuning, domain-aware segmentation, efficient segmentation, and medical segmentation. Additionally, we compile and re-evaluate the reviewed methods on several well-established datasets. Finally, we identify open challenges in this field and propose directions for future research. The project page can be found at https://github.com/lxtGH/Awesome-Segmentation-With-Transformer. We will also continually monitor developments in this rapidly evolving field.

연구 동기 및 목표

• 트랜스포머 기반 시각 분할의 문제 공간과 데이터셋 정의.
• Segmentation 작업을 위한 DETR를 확장한 통합 메타-아키텍처 제시.
• 백본, 디코더 설계, 객체 쿼리에 따라 트랜스포머 기반 분할 방법을 분류한다.
• 3D 포인트 클라우드, 기초 모델 조정, 도메인 인식 및 의학 분할 등 하위 분야를 조사한다.
• 표준 벤치마크에서 대표적 방법을 평가하고 향후 연구 방향을 제시한다.

제안 방법

• Segmentation 작업을 위한 백본, 객체 쿼리, 그리고 트랜스포머 디코더를 갖춘 DETR 영감을 받은 메타아키텍처를 도입한다.
• 피처 피라미드(Neck)와 다중 스케일 표현이 객체 쿼리를 어떻게 정교화하는지 설명한다.
• 다양한 분할 작업에 대한 픽셀 단위 및 마스크별 예측 표현을 설명한다.
• 학습은 이분 매칭(Hungarian 알고리즘)과 1:1 쿼리-정답 할당을 사용한다는 점을 논의한다.
• 방법의 분류를 다음으로 제공: 표현 학습, 디코더의 상호작용 설계, 객체 쿼리 최적화, 연결/결합을 위한 쿼리 사용, 조건부 쿼리 생성.
• 3D 포인트 클라우드 분할, 기초 모델 조정, 의학 분할 등 과제 특화 확장을 개요로 제시한다.

실험 결과

연구 질문

• RQ1 시맨틱, 인스턴스 및 팬오픽 작업 전반에 걸친 트랜스포머 기반 시각 분할을 위한 통합 프레임워크의 구성 요소는 무엇인가?
• RQ2 DETR 유사한 아키텍처를 어떻게 2D, 영상, 3D 분할을 효율적으로 처리하도록 적응하고 확장할 수 있는가?
• RQ3 백본, Neck, 쿼리의 어떤 설계 선택이 데이터셋과 작업 전반에 걸쳐 성능에 가장 큰 영향을 미치는가?
• RQ4 쿼리 기반 연관성 및 조건부 쿼리 생성이 교차 작업과 교차 도메인 분할을 어떻게 가능하게 하는가?
• RQ5 트랜스포머 기반 분할의 미해결 과제와 향후 방향은 무엇인가?

주요 결과

• 트랜스포머 기반 방법은 일반적으로 백본, 객체 쿼리, 분할 작업용 디코더를 갖춘 DETR 유사 메타아키텍처를 채택한다.
• 작업 전반에 걸쳐 두 가지 주요 마스크 표현이 사용된다: 인스턴스 중심 작업의 마스크별 예측과 시맨틱 수준 분할의 픽셀 단위 예측.
• 학습 시 예측과 정답 간의 1:1 대응을 달성하기 위해 헝가리안 할당이 일반적으로 사용된다.
• FPN 및 다중 스케일 특징은 스케일 변화 처리와 아키텍처 전반에 걸친 쿼리 정교화에 널리 사용된다.
• 본 조사는 표준 데이터셋에서 방법을 다루고 재평가하며 연구의 미해결 과제와 향후 방향을 제시한다.