[논문 리뷰] Transformers Meet Visual Learning Understanding: A Comprehensive Review

Yuting Yang, Licheng Jiao외 5명|arXiv (Cornell University)|2022. 03. 24.

Advanced Neural Network Applications인용 수 21

한 줄 요약

Transformer 기반 모델의 이미지 및 비디오 이해에 대한 포괄적 조사를 통해 주의 메커니즘, 시각 트랜스포머 모듈, 백본/목 설계, 이미지 분류, 탐지, 분할, 추적, 및 비디오 분류 전반의 성능 경향을 자세히 설명합니다.

ABSTRACT

Dynamic attention mechanism and global modeling ability make Transformer show strong feature learning ability. In recent years, Transformer has become comparable to CNNs methods in computer vision. This review mainly investigates the current research progress of Transformer in image and video applications, which makes a comprehensive overview of Transformer in visual learning understanding. First, the attention mechanism is reviewed, which plays an essential part in Transformer. And then, the visual Transformer model and the principle of each module are introduced. Thirdly, the existing Transformer-based models are investigated, and their performance is compared in visual learning understanding applications. Three image tasks and two video tasks of computer vision are investigated. The former mainly includes image classification, object detection, and image segmentation. The latter contains object tracking and video classification. It is significant for comparing different models' performance in various tasks on several public benchmark data sets. Finally, ten general problems are summarized, and the developing prospects of the visual Transformer are given in this review.

연구 동기 및 목표

• 시각 학습 과제에서 주의 메커니즘이 트랜스포머의 성능을 어떻게 뒷받침하는지 평가한다.
• 핵심 시각 트랜스포머 아키텍처와 모듈 설계(백본, 인코더/디코더, 위치 인코딩)를 요약한다.
• 이미지 분류, 객체 탐지, 분할, 추적 및 비디오 분류를 위한 트랜스포머 기반 방법을 조사한다.
• 공개 벤치마크에서의 성능을 비교하고 현재의 도전과제와 향후 방향을 제시한다.

제안 방법

• 채널, 공간, 시간적, 분기 등 주의 메커니즘의 스펙트럼과 이들이 트랜스포머에서 하는 역할을 검토한다.
• 핵심 시각 트랜스포머 모듈의 아키텍처(자기 주의, 다중 헤드 주의, FFN, 위치 인코딩)와 계산 복잡도를 설명한다.
• 트랜스포머 백본(예: Swin, CSWin, PVT, CrossFormer) 을 분류하고 설계 원칙(계층화, 윈도우형/로컬 주의, 교차 스케일)을 논의한다.
• 이미지 작업(분류, 탐지, 분할)과 비디오 작업(추적, 비디오 분류)에 대한 트랜스포머 기반 방법을 요약하고 공개 데이터셋에서의 성능 비교를 제시한다.
• 주목할 만한 사전 학습 전략(ViT, iGPT, DeiT, CrossViT 등)과 이들이 데이터 효율성 및 정확도에 미치는 영향을 강조한다.

실험 결과

연구 질문

• RQ1 시각 트랜스포머에서 사용되는 주요 주의 메커니즘은 무엇이며 이것이 이미지 및 비디오 작업 전반의 성능에 어떤 영향을 미치는가?
• RQ2 이미지 분류, 탐지, 분할을 위한 트랜스포머 백본과 모듈 설계가 어떻게 발전해 왔는가?
• RQ3 표준 데이터셋에서 트랜스포머 기반 시각 학습 방법의 현재 성능 추세와 벤치마크 결과는 무엇인가?
• RQ4 트랜스포머 기반 시각 학습이 직면한 10개의 공공 도전 과제나 미해결 이슈는 무엇이며 어떻게 해결될 수 있는가?
• RQ5 시각 분야에서 데이터 효율적이고 높은 정확도를 달성하는 사전 학습 전략은 무엇인가?

주요 결과

• 트랜스포머 기반 방법은 이미지 분류, 탐지, 분할, 추적, 비디오 분류 전반에서 최첨단 또는 경쟁력 있는 결과를 달성했다.
• 주목할 만한 백본(Swin, CSWin, PVT, CrossFormer)은 정확도와 계산 비용의 균형을 맞추기 위해 계층적, 윈도우형 또는 cross-scale 주의를 도입한다.
• 사전 학습 전략(ViT, iGPT, DeiT, CrossViT 등)은 ImageNet 및 COCO와 같은 벤치마크에서 데이터 효율성과 하류 성능에 상당한 영향을 미친다.
• 본 리뷰는 연구자들의 실험 선택을 돕기 위해 공개 벤치마크에서의 교차 작업 성능 비교를 제공한다.
• 저자들은 10가지 일반적 도전 과제를 요약하고 시각 학습 이해에서의 미래 트랜스포머 연구 방향을 제시한다.