[논문 리뷰] A Comprehensive Study of Vision Transformers in Image Classification Tasks

Mahmoud I. Khalil, Khalil Ahmad외 1명|arXiv (Cornell University)|2023. 12. 02.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 이미지 분류 분야에서 비전 트랜스포머(ViTs)에 대한 종합적인 서베이를 제시하며, 초기 자기주의 어텐션 적용에서부터 ViT, 스위니 트랜스포머, 디에잇, 아이지프트와 같은 최신 모델에 이르기까지의 발전을 추적한다. ImageNet, CIFAR-10, 플라워스 등의 벤치마크에서 성능을 평가하며, ViT-Base/16이 77.99%의 상위-1 정확도를 기록하고 스위니-L이 ImageNet-Real에서 87.32%를 달성하는 등 주요 성과를 도출한다. 同시에 효율성, 평가 일관성, 일반화 능력 향상에 있어 여전히 남아 있는 과제들을 규명한다.

ABSTRACT

Image Classification is a fundamental task in the field of computer vision that frequently serves as a benchmark for gauging advancements in Computer Vision. Over the past few years, significant progress has been made in image classification due to the emergence of deep learning. However, challenges still exist, such as modeling fine-grained visual information, high computation costs, the parallelism of the model, and inconsistent evaluation protocols across datasets. In this paper, we conduct a comprehensive survey of existing papers on Vision Transformers for image classification. We first introduce the popular image classification datasets that influenced the design of models. Then, we present Vision Transformers models in chronological order, starting with early attempts at adapting attention mechanism to vision tasks followed by the adoption of vision transformers, as they have demonstrated success in capturing intricate patterns and long-range dependencies within images. Finally, we discuss open problems and shed light on opportunities for image classification to facilitate new research ideas.

연구 동기 및 목표

• 이미지 분류 분야에서 비전 트랜스포머 모델의 체계적인 리뷰를 제공함으로써, 아키텍처의 진화와 다양한 데이터셋에서의 성능을 다루는 것.
• 컨볼루션 연산을 대체하는 어텐션 메커니즘과 자기주의 어텐션의 영향을 분석함으로써 시각적 표현 학습에 미치는 영향을 탐구하는 것.
• 표준 벤치마크인 ImageNet, CIFAR-10, CIFAR-100, 플라워스에서 주요 ViT 기반 모델의 정확도와 효율성을 비교하는 것.
• 평가 프로토콜, 계산 비용, 다양한 데이터셋 간 모델 일반화 능력 향상에 있어 지속적인 과제를 규명하는 것.
• 멀티모odal 프리트레인링(예: CLIP, 아이지프트) 및 효율성 향상 기법(예: ToMe, 헤라)과 같은 새로운 트렌드를 부각하는 것.

제안 방법

• 비전 트랜스포머 관련 100篇 이상의 논문을 서베이하여, 초기 자기주의 어텐션 적용에서 현대의 ViT 변종에 이르기까지 시계열적으로 모델을 정리한다.
• 모델을 세 가지 추세로 분류한다: (1) 순수 ViT 변종(예: ViT, 디에잇, 카이티), (2) 계층적 모델(예: 스위니 트랜스포머), (3) 멀티모달 또는 효율적 변종(예: 아이지프트, 톰).
• 표준 지표를 사용해 모델을 벤치마킹한다: ImageNet 및 ImageNet-Real에서의 상위-1 정확도, 다중 레이블 작업을 위한 mAP, CIFAR 및 플라워스에서의 정확도.
• 일관된 프rotocols 하에서 모델을 평가한다: 데이터 증강(임의의 자르기, 뒤집기, 색상 왜곡), 무작위 샘플링, 표준 평가 파이프라인 준수.
• 여러 데이터셋에서 보고된 결과를 바탕으로 모델의 정확도와 효율성을 비교한다. 이는 ResNet 기준 모델과 깊이 및 패치 크기가 다른 ViT 변종을 포함한다.
• 카이티 및 디에잇 등의 모델에서 볼 수 있는 아키텍처 혁신(예: 패치 임베딩, 클래스 토큰, 위치 인코딩, 크로스 어텐션 메커니즘)을 분석한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 아키텍처는 초기 자기주의 어텐션 적용에서부터 이미지 분류 분야에서 최신의 상태 기준 모델에 이르기까지 어떻게 진화해 왔는가?
• RQ2 표준 벤치마크인 ImageNet 및 CIFAR에서 비전 트랜스포머와 컨볼루션 네트워크(예: ResNet) 간의 비교 성능은 어떠한가?
• RQ3 멀티모달 프리트레인링 접근 방식(예: 아이지프트, CLIP)은 피지컬 튜닝 없이도 이미지 분류에서 제로샷 일반화 능력을 얼마나 향상시키는가?
• RQ4 효율성 중심의 방법론인 톰과 헤라가 ViT 모델을 재학습 없이도 추론 속도와 처리량을 어떻게 향상시키는가?
• RQ5 평가 일관성, 계산 비용, ViT 기반 모델에서 세밀한 시각적 디테일을 모델링하는 데 있어 지속적인 과제는 무엇인가?

주요 결과

• ViT-Base/16은 ImageNet에서 77.99%의 상위-1 정확도를 기록했고, ImageNet-Real에서는 88.10%를 달성하여 최소한의 인덕티브 바이어스로 강력한 성능을 보였다.
• 스위니-L은 ImageNet-Real에서 87.32%의 상위-1 정확도를 기록하며, ViT-Base/16을 초월했고, 계층적이고 국소적인 어텐션의 이점을 입증했다.
• 입력 해상도 384×384를 사용한 디에잇-베이스는 ImageNet에서 84.90%의 상위-1 정확도를 달성하여 더 큰 입력 해상도로 성능 향상을 입증했다.
• 아이지프트-L은 CIFAR-10에서 89.0%의 정확도, CIFAR-100에서는 88.51%의 정확도를 기록하여 이미지 생성에 대해 프리트레인된 모델임에도 불구하고 뛰어난 성능을 보였다.
• 에프피시언트넷-B7는 ImageNet에서 84.30%의 상위-1 정확도, ImageNet-Real에서는 89.20%의 정확도를 기록하여 비교를 위한 강력한 CNN 기준 모델이 되었다.
• 스위니-T, 스위니-S, 스위니-B 모델들은 깊이와 너비가 증가함에 따라 일관된 성능 향상을 보였으며, 스위니-B는 ImageNet에서 84.52%, ImageNet-Real에서는 89.00%의 정확도를 기록했다.