[논문 리뷰] A survey of the Vision Transformers and their CNN-Transformer based Variants

Asifullah Khan, Zunaira Rauf외 5명|arXiv (Cornell University)|2023. 05. 17.

Advanced Neural Network Applications인용 수 13

한 줄 요약

본 논문은 비전 트랜스포머와 이들의 CNN-트랜스포머 하이브리드에 대해 조사하고, 하이브리드 아키텍처의 분류 체계를 제안하며 주의(attention) 메커니즘, 위치 임베딩(positional embeddings), 다중 해상도 처리, 합성곱(convolutional) 구성 요소를 논의한다.

ABSTRACT

Vision transformers have become popular as a possible substitute to convolutional neural networks (CNNs) for a variety of computer vision applications. These transformers, with their ability to focus on global relationships in images, offer large learning capacity. However, they may suffer from limited generalization as they do not tend to model local correlation in images. Recently, in vision transformers hybridization of both the convolution operation and self-attention mechanism has emerged, to exploit both the local and global image representations. These hybrid vision transformers, also referred to as CNN-Transformer architectures, have demonstrated remarkable results in vision applications. Given the rapidly growing number of hybrid vision transformers, it has become necessary to provide a taxonomy and explanation of these hybrid architectures. This survey presents a taxonomy of the recent vision transformer architectures and more specifically that of the hybrid vision transformers. Additionally, the key features of these architectures such as the attention mechanisms, positional embeddings, multi-scale processing, and convolution are also discussed. In contrast to the previous survey papers that are primarily focused on individual vision transformer architectures or CNNs, this survey uniquely emphasizes the emerging trend of hybrid vision transformers. By showcasing the potential of hybrid vision transformers to deliver exceptional performance across a range of computer vision tasks, this survey sheds light on the future directions of this rapidly evolving architecture.

연구 동기 및 목표

• 컴퓨터 비전에서 CNN의 대체재로 부상하는 비전 트랜스포머를 강조하여 연구의 필요성을 제시한다.
• 최근 비전 트랜스포머 아키텍처의 분류 체계를 제시하되, CNN-트랜스포머 하이브리드 변형에 중점을 둔다.
• 주의 메커니즘, 위치 임베딩, 다중 규모 처리, 합성곱 구성 요소 등의 핵심 특징을 논의한다.
• 이전 조사를 하이브리드 아키텍처와 비전 작업 전반에 걸친 실용적 성능에 초점을 맞추어 대조한다.

제안 방법

• 최근 비전 트랜스포머 및 CNN-트랜스포머 하이브리드 모델의 체계적 문헌 합성.
• CNN과 자기 주의가 어떻게 결합되는지에 따라 아키텍처를 분류하기 위한 분류 체계 구축.
• 주의, 위치 임베딩, 다중 해상도 처리, 합성곱 연산 등을 포함한 아키텍처적 특징에 대한 비판적 논의.

실험 결과

연구 질문

• RQ1 비전 트랜스포머와 이들의 CNN-트랜스포머 하이브리드의 주요 아키텍처 계는 무엇인가?
• RQ2 하이브리드 아키텍처는 지역적 및 글로벌한 이미지 구조를 포착하기 위해 합성곱과 자체 주의를 어떻게 결합하는가?
• RQ3 일반적인 설계 선택(예: 위치 임베딩, 다중 규모 처리)과 그것이 성능에 미치는 영향은 무엇인가?
• RQ4 하이브리드 비전 트랜스포머의 향후 방향과 남아 있는 도전과제는 무엇인가?

주요 결과

• 하이브리드 비전 트랜스포머는 CNN-트랜스포머 통합을 통해 로컬 및 글로벌 이미지 표현을 효과적으로 활용한다.
• 주의 메커니즘, 위치 임베딩, 다중 규모 처리는 하이브리드 아키텍처의 중심이며 성능에 영향을 미친다.
• 조사된 문헌은 다양한 비전 작업을 위해 순수 트랜스포머나 CNN에서 하이브리드 설계로의 전환을 강조한다.
• 본 논문은 하이브리드 비전 트랜스포머의 향후 연구 및 활용을 안내하기 위한 분류 체계와 종합을 제공한다.