[논문 리뷰] Incorporating Convolution Designs into Visual Transformers

Kun Yuan, Shaopeng Guo외 4명|arXiv (Cornell University)|2021. 03. 22.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 특징 추출 및 최적화를 향상시키기 위해 컨볼루션 임베디드 인덕티브 바이어스를 통합한 비전 트랜스포머인 CeiT를 제안한다. Image-to-Tokens 모듈, 로컬 강화 피드포워드 레이어, 레이어별 클래스 토큰 어텐션을 도입함으로써 CeiT는 대규모 데이터나 지식 distillation 없이도 ImageNet에서 SOTA 정확도(384×384 입력 시 83.3% top-1)를 달성하고 DeiT보다 3배 빠르게 수렴한다.

ABSTRACT

Motivated by the success of Transformers in natural language processing (NLP) tasks, there emerge some attempts (e.g., ViT and DeiT) to apply Transformers to the vision domain. However, pure Transformer architectures often require a large amount of training data or extra supervision to obtain comparable performance with convolutional neural networks (CNNs). To overcome these limitations, we analyze the potential drawbacks when directly borrowing Transformer architectures from NLP. Then we propose a new extbf{Convolution-enhanced image Transformer (CeiT)} which combines the advantages of CNNs in extracting low-level features, strengthening locality, and the advantages of Transformers in establishing long-range dependencies. Three modifications are made to the original Transformer: extbf{1)} instead of the straightforward tokenization from raw input images, we design an extbf{Image-to-Tokens (I2T)} module that extracts patches from generated low-level features; extbf{2)} the feed-froward network in each encoder block is replaced with a extbf{Locally-enhanced Feed-Forward (LeFF)} layer that promotes the correlation among neighboring tokens in the spatial dimension; extbf{3)} a extbf{Layer-wise Class token Attention (LCA)} is attached at the top of the Transformer that utilizes the multi-level representations. Experimental results on ImageNet and seven downstream tasks show the effectiveness and generalization ability of CeiT compared with previous Transformers and state-of-the-art CNNs, without requiring a large amount of training data and extra CNN teachers. Besides, CeiT models also demonstrate better convergence with $3 imes$ fewer training iterations, which can reduce the training cost significantly\footnote{Code and models will be released upon acceptance.}.

연구 동기 및 목표

• 순수한 트랜스포머가 소규모 데이터셋에서 일반화 성능이 열 劣한 문제를 CNN에서 유래한 인덕티브 바이어스를 통합함으로써 해결하고자 한다.
• 토큰화 이전에 저수준 특징을 추출하여 국소성과 공간 상관관계를 향상시킴으로써 특징 표현을 개선하고자 한다.
• 트랜스포머 아키텍처에 국소 인덕티브 바이어스를 통합함으로써 학습 수렴 속도를 가속화하고자 한다.
• 지식 distillation이나 대규모 사전학습에 의존하지 않고도 ImageNet 및 후속 작업에서 경쟁 가능한 성능을 달성하고자 한다.

제안 방법

• 패치 토큰화 이전에 컨볼루션 레이어를 통해 저수준 특징을 생성하는 Image-to-Tokens (I2T) 모듈을 도입하여 계산량을 증가시키지 않으면서도 특징 품질을 향상시킨다.
• 깊이분할 컨볼루션을 사용한 로컬 강화 피드포워드 (LeFF) 레이어로 표준 피드포워드 네트워크를 대체하여 이웃 토큰 간의 공간 상관관계를 강화한다.
• 다중 수준 특징을 집계하여 클래스 토큰 표현을 정밀하게 개선하는 레이어별 클래스 토큰 어텐션 (LCA) 메커니즘을 적용한다.
• 다양한 인코더 레이어의 특징을 활용하는 다단계 어텐션 메커니즘을 도입하여 최종 분류 성능을 향상시킨다.
• I2T 및 LeFF 모듈에서 배치 정규화(BatchNorm)와 최대 풀링(Max-pooling)를 사용하여 학습 안정성 향상과 성능 향상을 도모한다.
• CNN에서 유래한 인덕티브 바이어스를 트랜스포머 프레임워크에 통합하면서도 계산 효율성을 유지하는 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 컨볼루션 인덕티브 바이어스를 통합함으로써 비전 트랜스포머의 소규모 데이터셋에서의 일반화 성능 향상이 가능한가?
• RQ2 원시 이미지 패치 토큰화 대신 기반 특징 토큰화를 적용할 경우 비전 트랜스포머의 특징 표현이 향상되는가?
• RQ3 피드포워드 모듈에 국소 인덕티브 바이어스를 통합하면 공간 상관관계 모델링과 학습 안정성이 향상되는가?
• RQ4 기존 트랜스포머인 DeiT와 비교했을 때 제안된 아키텍처가 학습 비용을 얼마나 줄이는가?
• RQ5 하이브리드 CNN-Transformer 설계가 지식 distillation이나 대규모 사전학습 없이도 SOTA 성능을 달성할 수 있는가?

주요 결과

• CeiT-S는 표준 224×224 입력으로 ImageNet에서 82.0% top-1 정확도를 달성하여 ViT 및 DeiT 변종을 초월한다.
• 384×384 해상도로 미세조정한 경우 CeiT-S는 83.3% top-1 정확도에 도달하여 뛰어난 일반화 성능을 입증한다.
• CeiT 모델은 DeiT보다 3배 빠르게 수렴하여 100 에포크 만에 DeiT가 300 에포크를 소요하는 성능을 달성한다.
• 절단 분석 결과, LeFF 레이어에서 배치 정규화와 3×3 커널 크기가 최고의 성능을 내며, 기준 모델 대비 정확도를 2.2% 향상시킨다.
• Max-pooling과 BatchNorm을 통합한 I2T 모듈이 다른 대안보다 뛰어나며, 안정적이고 효과적인 특징 추출에 핵심적임을 입증한다.
• LCA 모듈은 기준 모델 대비 top-1 정확도를 0.6% 향상시켜 다중 수준 특징 집계의 가치를 확인한다.