[논문 리뷰] ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond

Qiming Zhang, Yufei Xu외 2명|arXiv (Cornell University)|2022. 02. 21.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 전용 감소 및 정규 세포를 통해 국소성과 척도 불변성에 대한 명시적 인덕티브 바이어스를 통합한 비전 트랜스포머 아키텍처인 ViTAEv2를 제안한다. 이러한 세포를 등방성 및 다단계 구성으로 쌓음으로써 ViTAEv2는 사전 데이터를 사용하지 않고도 이미지 분류에서 최상의 성능을 달성한다—ImageNet에서 Top-1 정확도 88.5%, ImageNet-Real에서 91.2%를 기록하며, 이는 인덕티브 바이어스가 대규모 모델에서도 데이터 효율성과 일반화 능력을 향상시킬 수 있음을 보여준다.

ABSTRACT

Vision transformers have shown great potential in various computer vision tasks owing to their strong capability to model long-range dependency using the self-attention mechanism. Nevertheless, they treat an image as a 1D sequence of visual tokens, lacking an intrinsic inductive bias (IB) in modeling local visual structures and dealing with scale variance, which is instead learned implicitly from large-scale training data with longer training schedules. In this paper, we propose a Vision Transformer Advanced by Exploring intrinsic IB from convolutions, i.e., ViTAE. Technically, ViTAE has several spatial pyramid reduction modules to downsample and embed the input image into tokens with rich multi-scale context using multiple convolutions with different dilation rates. In this way, it acquires an intrinsic scale invariance IB and can learn robust feature representation for objects at various scales. Moreover, in each transformer layer, ViTAE has a convolution block parallel to the multi-head self-attention module, whose features are fused and fed into the feed-forward network. Consequently, it has the intrinsic locality IB and is able to learn local features and global dependencies collaboratively. The proposed two kinds of cells are stacked in both isotropic and multi-stage manners to formulate two families of ViTAE models, i.e., the vanilla ViTAE and ViTAEv2. Experiments on the ImageNet dataset as well as downstream tasks on the MS COCO, ADE20K, and AP10K datasets validate the superiority of our models over the baseline transformer models and concurrent works. Besides, we scale up our ViTAE model to 644M parameters and obtain the state-of-the-art classification performance, i.e., 88.5% Top-1 classification accuracy on ImageNet validation set and the best 91.2% Top-1 accuracy on ImageNet real validation set, without using extra private data.

연구 동기 및 목표

• 비전 트랜스포머가 국소적 구조와 척도 불변성을 암묵적으로 학습하기 위해 대규모 데이터에 의존하는 데서 비롯되는 인덕티브 바이어스의 부족 문제를 해결하기 위해.
• 트랜스포머 아키텍처에 내재된 인덕티브 바이어스를 통합하여 데이터 효율성과 수렴 속도를 향상시키기 위해.
• 객체 검출, 세그멘테이션, 인간 자세 추정과 같은 이미지 분류 및 후속 비전 작업에서 성능을 향상시키기 위해.
• 대규모 비전 트랜스포머 모델에서 인덕티브 바이어스가 여전히 유용한지 탐구하기 위해.

제안 방법

• 감소 세포(다중 척도 특징 추출을 위해)와 정규 세포(국소적 특징 모델링을 위해)라는 두 가지 새로운 세포 유형을 도입한다.
• 병렬적이고 스킵 연결된 아키텍처를 사용하여 각 세포 내에서 컨볼루션 모듈과 자기주의 모듈이 동시에 작동하도록 하여 상호 보완적인 특징 학습을 가능하게 한다.
• 등방성 및 다단계 구성에서 감소 세포와 정규 세포를 쌓아 두 가지 유형의 아키텍처인 바닐라 ViTAE와 ViTAEv2를 구성한다.
• 다중 수용장치 컨볼루션을 사용한 토큰-투-토큰 변환 메커니즘을 도입하여 척도 불변 특징을 시각 토큰에 통합한다.
• ViTAEv2에서 계층적 설계를 적용하여 여러 단계에 걸쳐 점진적으로 특징을 구축함으로써 CNN의 다중 척도 계층성과 유사하게 만든다.
• 시퀀스 길이를 줄이면서도 공간적 구조를 유지하는 동적 토큰 병합 전략을 적용하여 계산 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소성과 척도 불변성에 대한 명시적 인덕티브 바이어스가 대규모 데이터에 의존하지 않고도 비전 트랜스포머 성능을 향상시킬 수 있는가?
• RQ2 동일한 세포 내에서 컨볼루션과 자기주의 모듈을 통합하는 것이 특징 학습과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 제안된 인덕티브 바이어스가 대규모 아키텍처(예: 644M 파라미터)로 확장된 비전 트랜스포머에서 여전히 효과적인가?
• RQ4 기본 비전 트랜스포머보다 더 뛰어난 데이터 효율성과 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ5 인덕티브 바이어스가 적은 데이터, 고카테고리 작업(예: 인간 자세 추정)에 대한 내성적 공격에 대한 강건성과 성능 향상에 기여하는가?

주요 결과

• ViTAEv2는 ImageNet에서 88.5%의 Top-1 정확도, ImageNet-Real에서 91.2%의 정확도를 기록하여 사전 데이터를 사용하지 않고도 새로운 최고 기록을 수립했다.
• ViTAEv2-S 모델은 AP-10K 인간 자세 추정 벤치마크에서 ResNet-50 대비 3%의 절대 AP 향상을 기록했으며, 특히 더 엄격한 AP75 지표에서 Swin-T를 능가했다.
• 모델은 뛰어난 데이터 효율성을 보였으며, DeiT-T와 T2T-ViT-7보다 더 적은 훈련 데이터로 더 빠르게 수렴하고 더 높은 성능을 달성했다.
• ViTAEv2는 $l_∞$ 내성적 공격에 대해 향상된 강건성을 보였으며, ViT, MLPMixer, ResNet보다 강건성 벤치마크에서 뛰어난 성능을 보였다.
• 인덕티브 바이어스는 대규모에서 효과를 유지한다: ViTAE-H는 ImageNet-22K에서 뛰어난 성능을 기록하여 인덕티브 바이어스가 대규모 비전 트랜스포머의 성능을 향상시킬 수 있음을 확인했다.
• 감소 세포와 정규 세포의 병렬적이고 스킵 연결된 설계는 상호 보완적 학습을 가능하게 하며, 어텐션은 장거리 의존성을, 컨볼루션은 국소적 구조를 중심으로 집중함을 주의 거리 분석을 통해 확인했다.