[논문 리뷰] A Survey of Visual Transformers

Yang Liu, Yao Zhang외 8명|arXiv (Cornell University)|2021. 11. 11.

Advanced Neural Network Applications참고 문헌 134인용 수 42

한 줄 요약

이 논문은 이미지, 점군, 다중 센서 데이터에 걸쳐 분류, 탐지, 분할을 위한 100편이 넘는 비주얼 트랜스포머 모델을 포괄적으로 조사하고, 분류 체계, 비교 및 향후 방향을 제시한다.

ABSTRACT

Transformer, an attention-based encoder-decoder model, has already revolutionized the field of natural language processing (NLP). Inspired by such significant achievements, some pioneering works have recently been done on employing Transformer-liked architectures in the computer vision (CV) field, which have demonstrated their effectiveness on three fundamental CV tasks (classification, detection, and segmentation) as well as multiple sensory data stream (images, point clouds, and vision-language data). Because of their competitive modeling capabilities, the visual Transformers have achieved impressive performance improvements over multiple benchmarks as compared with modern Convolution Neural Networks (CNNs). In this survey, we have reviewed over one hundred of different visual Transformers comprehensively according to three fundamental CV tasks and different data stream types, where a taxonomy is proposed to organize the representative methods according to their motivations, structures, and application scenarios. Because of their differences on training settings and dedicated vision tasks, we have also evaluated and compared all these existing visual Transformers under different configurations. Furthermore, we have revealed a series of essential but unexploited aspects that may empower such visual Transformers to stand out from numerous architectures, e.g., slack high-level semantic embeddings to bridge the gap between the visual Transformers and the sequential ones. Finally, three promising research directions are suggested for future investment. We will continue to update the latest articles and their released source codes at https://github.com/liuyang-ict/awesome-visual-transformers.

연구 동기 및 목표

• CV 과제(분류, 탐지, 분할) 전반에 걸친 비주얼 트랜스포머 아키텍처에 대한 체계적 개요를 제공한다.
• 데이터 스트림(이미지, 점군, 다중 센서 데이터)과 동기에 따라 기존 방법을 정리한다.
• 아키텍처 구성요소와 학습 스키마를 분석하여 강점, 한계 및 CNN과의 연계를 밝힌다.
• 다양한 과제에서 비주얼 트랜스포머를 활용하기 위한 향후 연구 방향 및 실용적 고려사항을 제시한다.

제안 방법

• 세 가지 CV 과제와 데이터 스트림 유형에 따라 100편이 넘는 비주얼 트랜스포머 연구를 검토하고 분류한다.
• 예: 패치 기반, 쿼리 기반, 계층적, 국부/전역 주의 등 백본과 구성요소의 분류표를 제안한다.
• 자가지도(Self-supervision) 및 프리트레이닝 데이터 고려사항을 포함한 학습 전략을 요약한다.
• 다양한 설정과 데이터 레짐에서 방법들을 비교하여 직관적이고 연구 간 시사점을 제공한다.
• 비활용 측면과 비주얼 트랜스포머와 시퀀스 모델 간의 잠재적 연결 메커니즘을 논의한다.

실험 결과

연구 질문

• RQ1 CV 과제에 사용되는 비주얼 트랜스포머의 주요 아키텍처 계열은 무엇인가?
• RQ2 이미지 분류, 탐지 및 분할에서 비주얼 트랜스포머의 성능은 어떠하며 어떤 데이터 스트림을 다루는가?
• RQ3 제한된 데이터에서 일반화에 도움이 되는 학습 전략과 귀납적 편향은 무엇인가?
• RQ4 통합된 다중 작업 및 다중 모달 비주얼 트랜스포머를 위한 향후 방향과 격차는 무엇인가?

주요 결과

• 다양한 구성에서 CNN과 비교해 분류, 탐지, 분할 벤치마크에서 인상적인 성능을 달성했다.
• 로컬 vs 글로벌 주의, 계층적 설계, 심층 트랜스포머 변형 등 다양한 아키텍처 트렌드가 존재하며 각자 정확도와 효율성 간의 트레이드오프를 제시한다.
• 합성곱 신경망의 귀납적 편향을 통합한 하이브리드 접근법(합성곱 스템, 바이어스 또는 하이브드 백본)을 통해 데이터 효율성 및 성능이 향상된다.
• 진행에는 로컬 어텐션 스킴(Swin 등), 계층적 토큰, 과도한 평활화 및 어텐션 붕괴를 완화하는 심층 트랜스포머 기술이 포함된다.
• 자기지도학습(Self-supervised) 및 다중 모달 사전학습 전략이 ViT의 성능 향상에 핵심 역할을 하며, 종종 대형 외부 데이터셋의 필요성을 줄인다.
• 논문은 쿼리 임베딩을 통한 인코더–디코더 통합 및 잠재적인 다중 작업, 다중 스트림 융합 아키텍처와 같은 유망한 방향을 강조한다.