[논문 리뷰] Recent Advances in Vision Transformer: A Survey and Outlook of Recent Work

Khawar Islam|arXiv (Cornell University)|2022. 03. 03.

Infrared Target Detection Methodologies인용 수 33

한 줄 요약

이 논문은 Vision Transformer(ViT) 개발 현황을 조사하고, 아키텍처, 학습, 응용을 분석하며, 향후 연구 방향과 도전을 논의한다.

ABSTRACT

Vision Transformers (ViTs) are becoming more popular and dominating technique for various vision tasks, compare to Convolutional Neural Networks (CNNs). As a demanding technique in computer vision, ViTs have been successfully solved various vision problems while focusing on long-range relationships. In this paper, we begin by introducing the fundamental concepts and background of the self-attention mechanism. Next, we provide a comprehensive overview of recent top-performing ViT methods describing in terms of strength and weakness, computational cost as well as training and testing dataset. We thoroughly compare the performance of various ViT algorithms and most representative CNN methods on popular benchmark datasets. Finally, we explore some limitations with insightful observations and provide further research direction. The project page along with the collections of papers are available at https://github.com/khawar512/ViT-Survey

연구 동기 및 목표

• 셀프 어텐션의 기본 개념과 Vision Transformer의 기본 원리를 소개한다.
• 최근 성능이 우수한 ViT 방법들의 포괄적 개요와 강점, 약점 및 비용 분석을 제공한다.
• 인기 벤치마크에서 ViT 방법과 CNN을 비교하고 한계를 논의하며 향후 연구 방향을 제시한다.
• 분류, 세분화, 포인트 클라우드, 재식별 등 다양한 ViT 응용 분야를 강조한다.

제안 방법

• ViT 파이프라인을 설명한다: 패치 분할, 패치 임베딩, 위치 인코딩, 클래스 토큰, 트랜스포머 인코더, 그리고 MLP 헤드.
• 다중 헤드 셀프 어텐션과 MLP 블록으로 구성된 트랜스포머 인코더의 구성과 정규화 및 스킵 연결을 설명한다.
• 주요 ViT 변형과 교육/구조 혁신(예: 증류, 교차 어텐션, 로컬성, 깊이 조정)을 조사한다.
• 도메인 전반에 걸친 ViT 응용을 요약한다(분류, 세분화, 의학 영상, 3D 포인트 클라우드, 재식별).
• ViT 진행의 타임라인 시각화와 향후 연구 방향에 대한 논의를 제공한다.

실험 결과

연구 질문

• RQ1 비전 벤치마크에서 Vision Transformer가 CNN과 동등하거나 이를 능가하도록 만드는 핵심 아키텍처 요소와 학습 전략은 무엇인가?
• RQ2 분류 및 세분화와 같은 작업에서 정확도, 계산 비용, 데이터 효율성 측면에서 ViT 변형은 어떻게 비교되는가?
• RQ3 ViT의 한계는 무엇이며 어떤 향후 방향이 이를 해결할 수 있는가(예: 가지치기, CNN-ViT 하이브리드, 설명 가능성, 위치 인코딩)?

주요 결과

• ViTs는 셀프 어텐션을 활용하여 장거리 의존성을 모델링하고, 크고 라벨이 없는 데이터셋에서 학습한 뒤 더 작은 데이터셋으로 파인튜닝할 수 있다.
• 다수의 변형이 지역성 메커니즘, 교차 어텐션, 증류, 토큰-대-토큰 처리 등의 개선을 도입하여 성능과 효율성을 높인다.
• ViT는 이미지 분류, 세분화(의미론적 및 의학적), 3D 포인트 클라우드, 사람 재식별 등 다양한 비전 작업에 성공적으로 적용되어 왔다.
• 비교 연구에 따르면 ViT는 경우에 따라 강력한 결과를 달성할 수 있으며 경쟁력 있거나 더 낮은 계산 비용을 보일 수 있지만, 학습 전략과 데이터 요구 사항이 여전히 중요한 요인으로 남아 있다.
• 향후 방향은 모델 가지치기, CNN-ViT 하이브리드, 설명 가능성, 위치 인코딩 체계의 탐구를 강조한다.