[논문 리뷰] Transformers learn through gradual rank increase

Enric Boix-Adserà, Etai Littwin외 3명|arXiv (Cornell University)|2023. 06. 12.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 시각 및 언어 기반 트랜스포머 모델이 훈련 중에 점진적 학습 역학을 보이며, 훈련된 가중치와 초기 가중치의 차이의 질량이 단계적으로 증가하는 것을 입증한다. 이론적으로는 작은 초기화 및 대각선 가중치 가정 하에 기울기 유동 훈련이 각 단계에서 최대 하나의 질량 증가를 유도함을 보이며, 실제로는 이러한 단순화된 가정이 없더라도 이 현상이 실제 시각 및 언어 모델에서 관찰됨을 확인하였다.

ABSTRACT

We identify incremental learning dynamics in transformers, where the difference between trained and initial weights progressively increases in rank. We rigorously prove this occurs under the simplifying assumptions of diagonal weight matrices and small initialization. Our experiments support the theory and also show that phenomenon can occur in practice without the simplifying assumptions.

연구 동기 및 목표

• 트랜스포머가 더 단순한 신경망에서 관찰되는 것과 유사한 점진적 학습 역학을 보이는지 조사하기.
• 작은 초기화 및 대각선 가중치 행렬이라는 단순화된 가정 하에 트랜스포머에서의 점진적 학습 역학에 대한 이론적 기반을 확립하기.
• 단순화된 가정 없이 실제 설정에서 이론적 결과를 실험적으로 검증하기.
• 관찰된 역학과 LoRA와 같은 효율적인 미세조정 방법 간의 관계 탐색하기.

제안 방법

• 이론적 분석은 대각선 어텐션 헤드 가중치를 가진 단순화된 트랜스포머 버전의 기울기 유동을 사용하여, 문제를 두 가중치 벡터의 원소별 곱에 의존하는 네트워크로 축소한다.
• 형태 $ f_{\mathsf{NN}}(\mathbf{x};\mathbf{u},\mathbf{v}) = h(\mathbf{x}; \mathbf{u} \odot \mathbf{v}) $의 네트워크에 대해 일반적인 정리를 증명하며, 작은 초기화 조건 하에서 훈련이 이산 단계로 진행되며, 각 단계에서 $ \mathbf{u} \odot \mathbf{v} $에 최대 하나의 새로운 유의미한 항목이 추가됨을 보여준다.
• 이론적 결과는 어텐션 헤드에 적용되며, 곱 $ \mathbf{W}_K \mathbf{W}_Q^\top $을 대각선 행렬 곱으로 표현하여 효과적 가중치 행렬의 질량 증가 분석이 가능하도록 한다.
• 실험은 초기화 시점과 훈련 후의 $ \mathbf{W}_K \mathbf{W}_Q^\top $ 스펙트럼을 비교하여, 가중치 차이의 질량을 측정함으로써 점진적 변화를 추적한다.
• CIFAR-10과 ImageNet에서 훈련된 ViT 모델을 대상으로 실험을 수행하며, 대각선 또는 작은 초기화 조건을 가정하지 않은 어텐션 헤드 가중치를 분석한다.
• 훈련 반복 과정에서 가중치 차이의 정규화된 스펙트럼을 시각화하여 단계별 질량 증가를 설명한다.

실험 결과

연구 질문

• RQ1 트랜스포머는 학습 함수의 복잡성이 단계적으로 증가하는 점진적 학습 역학을 보이는가?
• RQ2 작은 초기화 및 대각선 가중치 행렬과 같은 단순화된 가정 하에 트랜스포머에서의 점진적 학습 역학을 엄밀히 증명할 수 있는가?
• RQ3 이론적 가정이 위반되더라도, 가중치 차이의 점진적 질량 증가 현상은 실제로도 유지되는가?
• RQ4 관찰된 점진적 역학과 LoRA와 같은 효율적인 미세조정 방법 간의 관계는 무엇인가?

주요 결과

• 작은 초기화 및 대각선 가중치 가정 하에, 트랜스포머에서 기울기 유동 훈련은 각각 $ \Theta(\log(1/\alpha)) $ 시간이 지속되는 이산 단계로 진행되며, 각 단계에서 효과적 가중치 벡터 $ \mathbf{u} \odot \mathbf{v} $에 최대 하나의 새로운 유의미한 항목이 추가된다.
• 이론적 분석은 안정점 회피 역학으로 인해 훈련된 가중치와 초기 가중치의 차이의 질량이 각 단계에서 최대 하나씩 점진적으로 증가함을 증명한다.
• ImageNet에서 훈련된 ViT 모델에 대한 실험에서, 훈련 과정 중에 훈련된 $ \mathbf{W}_K \mathbf{W}_Q^\top $ 행렬과 초기 상태의 차이의 질량이 점진적으로 증가하며, 스펙트럼 플롯에서 명확한 단계적 행동이 관찰된다.
• 이론적 가정이 없이도 — 예를 들어 비대각선 가중치와 더 큰 초기화 조건을 가진 표준 훈련에서도 — 시각 및 언어 모델 전반에 걸쳐 점진적 질량 증가가 여전히 관찰된다.
• 이 현상은 CIFAR-10과 같은 작은 데이터셋보다 ImageNet과 같은 더 큰 데이터셋에서 더 두드러지게 나타나며, 이는 데이터 복잡성이 단계적 역학에 영향을 준다는 것을 시사한다.
• 결과는 LoRA 미세조정과의 연결성을 시사한다. 둘 다 저질량 갱신을 포함하며, 관찰된 점진적 역학이 이러한 방법의 효과성을 설명할 수 있다.