[논문 리뷰] Vision Transformers: State of the Art and Research Challenges

Bo-Kai Ruan, Hong-Han Shuai외 1명|arXiv (Cornell University)|2022. 07. 07.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 종합 검토는 시각 트랜스포머(ViTs)에 대한 포괄적인 검토를 제공하며, 아키텍처 혁신, 훈련 기법, 자기지도 학습 방법을 다룹니다. 다양한 시각 작업에서 최고 수준의 성능을 달성한 점을 강조하고, 데이터 과다 소비, 고정된 입력 크기, 강건성, 모델 효율성, 특징 붕괴와 같은 주요 과제를 밝혀내어 ViT 개발의 향후 연구 방향에 통찰을 제공합니다.

ABSTRACT

Transformers have achieved great success in natural language processing. Due to the powerful capability of self-attention mechanism in transformers, researchers develop the vision transformers for a variety of computer vision tasks, such as image recognition, object detection, image segmentation, pose estimation, and 3D reconstruction. This paper presents a comprehensive overview of the literature on different architecture designs and training tricks (including self-supervised learning) for vision transformers. Our goal is to provide a systematic review with the open research opportunities.

연구 동기 및 목표

• 시각 트랜스포머 아키텍처와 그 설계 혁신에 대한 체계적인 문헌 검토를 제공하기 위해.
• 성능 향상에 기여하는 데이터 증강 및 자기지도 학습을 포함한 훈련 기법을 분석하기 위해.
• 데이터 과다 소비, 강건성, 고정된 입력 크기, 모델 효율성과 같은 열린 연구 과제를 식별하고 논의하기 위해.
• 특징 붕괴 및 인덕티브 바이어스 부족과 같은 현재 ViT의 한계를 탐색하고 향후 개선 방향을 제안하기 위해.
• 시각 트랜스포머 개발 분야의 핵심 통찰과 열린 문제를 통합하여 향후 연구를 안내하기 위해.

제안 방법

• 데이터 과다 소비와 局소성 부족 등의 한계를 해결하기 위해 아키텍처 수정을 통해 유형을 분류하고 검토하기 위해.
• 일반화 성능 향상에 기여하는 강력한 데이터 증강, 디스틸레이션, 학습률 스케줄링 등의 훈련 트릭 분석하기 위해.
• 마스킹 복원 또는 대비 학습을 사용해 레이블 없이 ViT를 사전 훈련하는 방식인 MAE(Masked Autoencoders) 및 MoCo 등의 자기지도 학습 방법 검토하기 위해.
• 자기지도 사전 훈련 중 마스킹된 패치 예측을 위한 토큰화된 표현을 생성하기 위해 이산 VAE의 사용 평가하기 위해.
• 하이브리드 아키텍처나 국소 주의 메커니즘을 통해 CNN의 인덕티브 바이어스를 ViT에 통합하여 샘플 효율성 향상시키기 위해.
• 특징 붕괴를 완화하기 위해 학습 가능한 파라미터나 추가 모듈(예: T2T-ViT, DeepViT)을 도입한 아키텍처 및 훈련 전략 수정 제안하기 위해.

실험 결과

연구 질문

• RQ1 시각 트랜스포머의 아키텍처 수정은 이미지 분류 및 객체 탐지와 같은 시각 작업 성능 향상에 어떻게 기여하는가?
• RQ2 데이터 증강 및 자기지도 학습을 포함한 훈련 기법은 ViT의 일반화 성능 향상과 데이터 의존도 감소에 얼마나 기여하는가?
• RQ3 마스킹 복원(예: MAE)을 사용한 자기지도 사전 훈련은 어떤 정도에서 감독 사전 훈련 성능을 도달하거나 초월할 수 있는가?
• RQ4 입력 오염에 대한 강건성과 모바일 기기에서의 효율성과 같은 실세계 적용에 걸리는 주요 과제는 무엇인가?
• RQ5 추가적인 추론 오버헤드 없이 깊은 ViT에서의 특징 붕괴는 어떻게 완화할 수 있는가?

주요 결과

• 시각 트랜스포머는 이미지 분류, 객체 탐지, 세그멘테이션과 같은 다양한 컴퓨터 비전 작업에서 최고 수준의 성능을 달성했다.
• MAE와 같은 자기지도 학습 방법은 ViT 인코더-디코더 구조를 사용해 마스킹된 패치를 복원함으로써 놀라운 정확도를 달성했으며, 감독 사전 훈련을 초월할 수 있다.
• T2T-ViT 및 DeepViT와 같은 아키텍처 혁신은 학습 가능한 파라미터나 국소 인덕티브 바이어스를 도입함으로써 특징 붕괴를 효과적으로 완화한다.
• 강력한 데이터 증강 및 디스틸레이션 기법의 사용은 특히 레이블이 제한된 환경에서 ViT의 일반화 성능과 강건성을 크게 향상시킨다.
• 성공에도 불구하고 ViT는 입력 오염에 민감하고, 위치 임베딩으로 인해 고정된 입력 크기 제약을 가지며, 이는 모바일 기기에서의 구현을 제한한다.
• 모바일 배포를 위한 모델 크기 감소를 위한 현재 접근 방식은 여전히 제한되어 있어 효율적인 ViT 배포에 있어 핵심적인 열린 과제로 남아 있다.