[논문 리뷰] SP-ViT: Learning 2D Spatial Priors for Vision Transformers

Yuxuan Zhou, Wangmeng Xiang외 6명|arXiv (Cornell University)|2022. 06. 15.

Brain Tumor Detection and Classification인용 수 7

한 줄 요약

이 논문은 공간 우선성(2D 공간 유도적 편향)을 통합한 학습 가능한 주의 메커니즘인 공간 우선성 강화 자기주의(Spatial Prior–enhanced Self-Attention, SP-SA)를 제안한다. 이는 신경망을 통해 공간 관계 함수를 매개변수화하여 비전 트랜스포머에서 2차원 공간 유도적 편향을 자동으로 탐지한다. SP-SA를 사용하는 SP-ViT 모델은 기존 최고 성능(SOTA) 모델 대비 50% 적은 파라미터로 ImageNet-1K에서 86.3%의 Top-1 정확도를 달성하여 최신 기준을 수립한다.

ABSTRACT

Recently, transformers have shown great potential in image classification and established state-of-the-art results on the ImageNet benchmark. However, compared to CNNs, transformers converge slowly and are prone to overfitting in low-data regimes due to the lack of spatial inductive biases. Such spatial inductive biases can be especially beneficial since the 2D structure of an input image is not well preserved in transformers. In this work, we present Spatial Prior-enhanced Self-Attention (SP-SA), a novel variant of vanilla Self-Attention (SA) tailored for vision transformers. Spatial Priors (SPs) are our proposed family of inductive biases that highlight certain groups of spatial relations. Unlike convolutional inductive biases, which are forced to focus exclusively on hard-coded local regions, our proposed SPs are learned by the model itself and take a variety of spatial relations into account. Specifically, the attention score is calculated with emphasis on certain kinds of spatial relations at each head, and such learned spatial foci can be complementary to each other. Based on SP-SA we propose the SP-ViT family, which consistently outperforms other ViT models with similar GFlops or parameters. Our largest model SP-ViT-L achieves a record-breaking 86.3% Top-1 accuracy with a reduction in the number of parameters by almost 50% compared to previous state-of-the-art model (150M for SP-ViT-L vs 271M for CaiT-M-36) among all ImageNet-1K models trained on 224x224 and fine-tuned on 384x384 resolution w/o extra data.

연구 동기 및 목표

• 고정된 공간 유도적 편향의 부족으로 인해 저자료 환경에서 비전 트랜스포머의 수렴 속도 저하 및 과적합 문제를 해결하기 위해.
• 지역적 수용장과 초월하는 다양한 공간 관계를 포괄할 수 있는 수작업된 컨볼루션 유도적 편향의 학습 가능한 대체 기법을 개발하기 위해.
• 동적이고 데이터 기반의 주의 메커니즘을 통해 글로벌 수용장을 유지하면서 보완적인 공간 우선성을 학습할 수 있도록 하기 위해.
• 고정된 유도적 편향을 적응형이며 신경망 기반의 매개변수화된 공간 관계 함수로 대체함으로써 모델의 효율성과 정확도를 향상시키기 위해.

제안 방법

• SP-SA는 기존 자기주의를 개선하기 위해 상대적 패치 좌표를 주의 점수로 매핑하는 학습 가능한 공간 관계 함수를 도입하여 특정 공간 관계에 동적으로 집중할 수 있도록 한다.
• 공간 관계 함수는 다층 퍼셉트론(MLP)을 통해 매개변수화되며, 트레이닝 중 ViT와 함께 공동 최적화되어 모델이 효과적인 공간 우선성을 자율적으로 탐지할 수 있도록 한다.
• 각 주의 헤드는 고유한 공간 우선성을 학습하여 네트워크 전반에서 국소적 및 비국소적 공간 의존성을 보완적으로 모델링할 수 있다.
• 고정된 위치 임베딩을 학습 가능한 비선형 공간 우선성으로 대체하여 입력 콘텐츠와 상대적 위치를 동시에 고려하도록 한다.
• SP-ViT는 ViT의 표준 주의 블록을 SP-SA 블록으로 대체하여 구축되며, 아키텍처의 단순성을 유지하면서도 유도적 편향을 강화한다.
• 모델은 224×224 해상도에서 ImageNet-1K로 훈련되고, 384×384 해상도에서 미세조정되며, 추가 데이터나 더 큰 해상도에서의 사전학습 없이 진행된다.

실험 결과

연구 질문

• RQ1 고정된 국소 수용장 이상의 다양한 2차원 공간 관계를 포괄할 수 있는 학습 가능한 비선형 공간 우선성이 비전 트랜스포머 성능 향상에 기여할 수 있는가?
• RQ2 ViT 아키텍처와 함께 신경망 기반 공간 관계 함수를 공동 최적화할 경우, 고정된 위치 임베딩이나 수작업된 유도적 편향보다 더 나은 일반화 성능과 더 빠른 수렴을 달성할 수 있는가?
• RQ3 각 주의 헤드와 레이어마다 고유한 공간 우선성을 사용할 경우, 공유 또는 단일 우선성보다 보다 우수한 보완적 공간 유도적 편향 모델링이 가능한가?
• RQ4 기존 SOTA 비전 트랜스포머 모델 대비 SP-ViT는 얼마나 많은 모델 파라미터를 줄일 수 있으며, 정확도는 유지 또는 향상시킬 수 있는가?

주요 결과

• SP-ViT-L은 ImageNet-1K에서 기존 SOTA 모델인 CaiT-M-36를 능가하는 새로운 최고 기록인 86.3%의 Top-1 정확도를 달성한다.
• SP-ViT-L은 CaiT-M-36(271M) 대비 약 50% 감소한 150M의 파라미터를 사용하여 뚜렷한 효율성 향상을 보였다.
• 헤드와 레이어마다 고유한 공간 우선성을 갖춘 모델은 공유 또는 단일 우선성 설정보다 83.6%의 Top-1 정확도를 기록하여 슈퍼리어한 성능을 보였다.
• SP-SA는 1D 또는 2D 상대적 위치 임베딩을 사용한 기존 자기주의보다 뚜렷이 뛰어난 성능을 보였으며, 학습 가능한 비선형 공간 우선성의 우수성을 입증했다.
• 제거 실험 결과, 비선형 공간 관계 함수가 필수적임을 확인했으며, 선형 또는 고정된 매개변수 대안은 열등한 성능을 보였다.
• SP-SA는 수작업된 방법인 Positional Self-Attention 및 Local SA를 모두 능가하여, 학습 가능한 우선성이 수동 설계를 대체하고 더 나은 결과를 낼 수 있음을 보여주었다.