[논문 리뷰] CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification

Chun-Fu Chen, Quanfu Fan외 1명|arXiv (Cornell University)|2021. 03. 27.

Advanced Neural Network Applications인용 수 22

한 줄 요약

CrossViT는 소형 및 대형 이미지 패치에서 유래한 특징을 교차 어텐션 메커니즘을 사용해 융합하는 이중 브랜치 비전 트랜스포머를 제안한다. 이는 다중 척도 표현 학습을 향상시킨다. FLOPs와 파라미터 수가 다소 증가했음에도 불구하고 ImageNet1K에서 DeiT보다 2%의 정확도 향상을 달성하여 뛰어난 성능과 효율성을 입증한다.

ABSTRACT

The recently developed vision transformer (ViT) has achieved promising results on image classification compared to convolutional neural networks. Inspired by this, in this paper, we study how to learn multi-scale feature representations in transformer models for image classification. To this end, we propose a dual-branch transformer to combine image patches (i.e., tokens in a transformer) of different sizes to produce stronger image features. Our approach processes small-patch and large-patch tokens with two separate branches of different computational complexity and these tokens are then fused purely by attention multiple times to complement each other. Furthermore, to reduce computation, we develop a simple yet effective token fusion module based on cross attention, which uses a single token for each branch as a query to exchange information with other branches. Our proposed cross-attention only requires linear time for both computational and memory complexity instead of quadratic time otherwise. Extensive experiments demonstrate that our approach performs better than or on par with several concurrent works on vision transformer, in addition to efficient CNN models. For example, on the ImageNet1K dataset, with some architectural changes, our approach outperforms the recent DeiT by a large margin of 2\% with a small to moderate increase in FLOPs and model parameters. Our source codes and models are available at \url{https://github.com/IBM/CrossViT}.

연구 동기 및 목표

• 비전 트랜스포머의 다중 척도 특징 표현을 향상시키기 위한 목적으로.
• 효율적인 교차 어텐션 융합을 통해 성능을 유지하거나 향상시키면서 계산 비용을 줄이기 위한 목적으로.
• 이차적 복잡도를 증가시키지 않고 소형 및 대형 패치 특징 간의 효과적인 상호작용을 가능하게 하기 위한 목적으로.
• ImageNet1K 및 기타 벤치마크에서 동시대의 기법들과 비교해 최신 기술 수준의 성능을 달성하기 위한 목적으로.
• 정확도와 계산 효율성의 균형을 잡은 경량이고 효율적인 아키텍처를 제공하기 위한 목적으로.

제안 방법

• 모델은 소형 패치와 대형 패치 토큰을 별도로 처리하는 이중 브랜치 아키텍처를 사용하며, 각각 다른 계산 복잡도를 가진다.
• 교차 어텐션을 사용해 브랜치 간 특징을 융합하여 반복적인 다중 모odal 정보 교환을 가능하게 한다.
• 각 브랜치에서 단일 쿼리 토큰을 사용해 다른 브랜치를 쿼리함으로써 FLOPs와 메모리 모두 선형 시간 복잡도로 계산량을 줄인다.
• 교차 어텐션 모듈이 특징 융합에서 표준 자기 어텐션을 대체하여 이차적 복잡도를 피한다.
• 표준 최적화 및 데이터 증강 기법을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 이 방법은 ImageNet1K에 적용되며 전이 학습 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 이중 브랜치 패치 특징 간의 교차 어텐션은 비전 트랜스포머의 다중 척도 표현 학습을 향상시킬 수 있는가?
• RQ2 표준 자기 어텐션과 비교해 효율적인 교차 어텐션 융합은 계산 복잡도를 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ3 제안된 CrossViT는 ImageNet1K에서 DeiT와 같은 최신 기술 수준의 비전 트랜스포머와 비교해 어떻게 성능을 내는가?
• RQ4 FLOPs와 파라미터 수가 다소 증가했음에도 불구하고 모델은 높은 정확도를 달성할 수 있는가?
• RQ5 이중 브랜치 및 다중 척도 설계는 전이 학습 설정으로 일반화되는 데 효과적인가?

주요 결과

• CrossViT는 FLOPs와 모델 파라미터 수가 다소 증가했음에도 불구하고 ImageNet1K에서 DeiT보다 2% 높은 정확도를 기록한다.
• 교차 어텐션 융합 메커니즘이 선형 계산 및 메모리 복잡도를 달성하여 표준 자기 어텐션의 이차적 비용을 피한다.
• 이중 브랜치 설계는 다중 척도 특징을 효과적으로 융합하여 단일 척도나 단순 연결 방식보다 더 강력한 표현을 만들어낸다.
• 모델은 전이 학습 벤치마크에서 경쟁 가능한 성능을 기록하여 강력한 일반화 능력을 보여준다.
• 효율적인 교차 어텐션은 비전 트랜스포머의 특징 융합에서 자기 어텐션의 강력한 대안이 될 수 있음을 입증한다.
• 절단 분석 결과 이중 브랜치 설계와 교차 어텐션 융합이 성능 향상에 필수적임을 확인한다.