[논문 리뷰] Vision Transformers provably learn spatial structure

Samy Jelassi, Michael E. Sander외 1명|arXiv (Cornell University)|2022. 10. 13.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 시각 Transformer(ViTs)가 국소성에 대한 명시적 인덕티브 바이어스 없이도 '패치 연관'이라고 불리는 메커니즘을 통해 암묵적으로 공간적 구조를 학습한다는 이론적 프레임워크를 제안한다. 위치-주의 전용 주의 행렬을 갖는 단순화된 ViT를 분석함으로써, 저자들은 경사하강법 최소화가 공간적으로 국소화된 주의 패턴을 유도함을 증명하며, 이는 유사한 구조를 가진 다운스트림 작업에 대해 샘플 효율적인 전이를 가능하게 한다.

ABSTRACT

Vision Transformers (ViTs) have achieved comparable or superior performance than Convolutional Neural Networks (CNNs) in computer vision. This empirical breakthrough is even more remarkable since, in contrast to CNNs, ViTs do not embed any visual inductive bias of spatial locality. Yet, recent works have shown that while minimizing their training loss, ViTs specifically learn spatially localized patterns. This raises a central question: how do ViTs learn these patterns by solely minimizing their training loss using gradient-based methods from random initialization? In this paper, we provide some theoretical justification of this phenomenon. We propose a spatially structured dataset and a simplified ViT model. In this model, the attention matrix solely depends on the positional encodings. We call this mechanism the positional attention mechanism. On the theoretical side, we consider a binary classification task and show that while the learning problem admits multiple solutions that generalize, our model implicitly learns the spatial structure of the dataset while generalizing: we call this phenomenon patch association. We prove that patch association helps to sample-efficiently transfer to downstream datasets that share the same structure as the pre-training one but differ in the features. Lastly, we empirically verify that a ViT with positional attention performs similarly to the original one on CIFAR-10/100, SVHN and ImageNet.

연구 동기 및 목표

• 시각 Transformer(ViTs)가 국소 연결성에 대한 명시적 인덕티브 바이어스가 없음에도 불구하고 공간적 구조를 어떻게 학습하는지 이해하기.
• ViTs가 학습 과정에서 공간적으로 국소화된 주의 패턴을 학습함으로써 일반화할 수 있도록 하는 암묵적 인덕티브 바이어스를 조사하기.
• 위치-주의 전용 주의 행렬을 갖는 단순화된 ViT 모델이 경사하강법을 통해 암묵적으로 공간적 구조를 학습함을 정형화하고 증명하기.
• 이 암묵적 바이어스가 전처리 데이터셋과 동일한 공간적 구조를 가진 다운스트림 작업에 대해 샘플 효율적인 전이를 가능하게 하는지 보여주기.
• 경사 기반 최적화만으로도 무작위 초기화 상태에서 ViTs가 국소 연결성 패턴을 학습하는 데 이론적 근거를 제공하기.

제안 방법

• 주의 행렬이 위치 인코딩에만 의존하는 단순화된 ViT 모델을 정의하며, 이를 '위치 주의 메커니즘'이라 칭한다.
• 공간적 패턴 학습을 고립시키기 위해 인위적이고 공간적으로 구조화된 이진 분류 데이터셋을 구성한다.
• 모수화된 리스크(이dealized 설정)에 대한 경사하강법 최소화가 패치 연관, 즉 주의 헤드가 공간적으로 인접한 패치를 그룹화함을 증명한다.
• 이 패치 연관이 동일한 공간적 구조를 가진 다운스트림 데이터셋으로의 일반화와 샘플 효율적 전이를 가능하게 함을 확립한다.
• 학습 중 주의 계수의 불변성과 대칭성 분석을 통해 모델이 암묵적으로 공간 국소성을 학습함을 증명한다.
• 로그함수 부등식과 농도 경계(예: Chernoff 경계)를 활용하여 최적화 과정 중 주의 가중치와 손실의 성장을 통제한다.

실험 결과

연구 질문

• RQ1 시각 Transformer가 국소 연결성에 대한 명시적 인덕티브 바이어스 없이도 공간적으로 국소화된 패턴을 어떻게 학습할 수 있는가?
• RQ2 무작위 초기화 상태에서 ViTs가 공간적 구조를 가진 작업으로 일반화할 수 있도록 하는 암묵적 인덕티브 바이어스는 무엇인가?
• RQ3 주의 행렬이 위치 인코딩에만 의존하는 단순화된 ViT 모델도 여전히 공간적으로 구조화된 데이터에서 학습하고 일반화할 수 있는가?
• RQ4 암묵적인 공간 구조 학습(패치 연관)이 동일한 공간 패턴을 가진 다운스트림 작업으로의 샘플 효율적 전이를 가능하게 하는가?
• RQ5 경사하강법 학습 과정에서 ViTs 내에서 공간 국소성이 어떻게 나타나는지에 대한 이론적 메커니즘은 무엇인가?

주요 결과

• 위치-주의 전용 주의 행렬을 갖는 일층 단일헤드 ViT가 경사하강법 과정에서 패치 연관을 수행하며, 이는 공간적으로 인접한 패치를 그룹화함을 의미한다.
• 이론적 분석을 통해 이 패치 연관이 이상화된 모수화된 리스크 최소화 및 현실적인 경험 리스크 최소화 설정 모두에서 발생함을 증명한다.
• 모델은 기저 최적화 문제에 다수의 해가 존재함에도 불구하고 암묵적으로 공간적 구조를 학습함으로써 일반화된다.
• 패치 연관은 전처리 데이터셋과 동일한 공간적 구조를 가진 다운스트림 데이터셋으로의 샘플 효율적 전이를 가능하게 한다.
• 실험 결과는 위치 주의를 갖는 ViT가 CIFAR-10/100, SVHN, ImageNet에서 표준 ViT와 유사한 성능을 보임을 확인한다.
• 주의 가중치 변화에 대한 이론적 경계는 학습 과정에서 주의 계수의 불변성과 대칭성을 통해 모델이 공간 일관성을 유지함을 보여준다.