[논문 리뷰] A mathematical perspective on Transformers

Borjan Geshkovski, Cyril Letrouit외 2명|arXiv (Cornell University)|2023. 12. 17.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 트랜스포머를 단위 구면 위를 운동하는 상호작용 입자 시스템으로 프레임워크화하여, 자기주의 주의 동역학이 워셔슈타인 경량 유동을 통한 장기적 클러스터링을 이끌어내며 단일 점으로 수렴함을 보여준다. 핵심 결과는 고차원 또는 작은 결합 계수 파라미터에서 모든 토큰이 동기화 상태로 수렴함을 보이며, 이는 확률적 다음 토큰 예측에서의 결정론적 출력이라는 역설을 비정상적 클러스터링 동역학을 통해 해결한다.

ABSTRACT

Transformers play a central role in the inner workings of large language models. We develop a mathematical framework for analyzing Transformers based on their interpretation as interacting particle systems, which reveals that clusters emerge in long time. Our study explores the underlying theory and offers new perspectives for mathematicians as well as computer scientists.

연구 동기 및 목표

• 트랜스포머를 연속 시간 상호작용 입자 시스템으로 모델링함으로써, 트랜스포머를 이해하기 위한 엄밀한 수학적 프레임워크를 개발하는 것.
• 특히 고차원 공간에서의 클러스터링 발생을 포함한 자기주의 주의 동역학의 장기적 행동을 분석하는 것.
• 언어 모델링의 확률적 성격과 다음 토큰 예측에서의 결정론적 출력 사이의 명백한 모순을 비정상적 클러스터링 상태를 통해 해결하는 것.
• 워셔슈타인 경량 유동, 구면 위의 최적 점 구성, 비선형 수송 방정식과 같은 기존 수학적 개념들과 트랜스포머 동역학 간의 연결을 수립하는 것.

제안 방법

• 층 인덱스를 시간 변수로 간주하여 트랜스포머의 이산 층을 연속 시간 동역계로 모델링하는 것.
• 각 토큰을 단위 구면 $\mathbb{S}^{d-1}$ 위의 입자로 표현하고, 층 정규화에 의해 제약을 받으며, 자기주의 주의를 모든 입자의 경험 측도를 통한 비선형 결합으로 모델링하는 것.
• 경험 측도의 진화를 연속성 방정식을 사용하여 기술하고, 이를 비선형 수송 PDE와 연결하는 것.
• 최적 점 구성 이론에서 잘 알려진 에너지 함수에 관련된 워셔슈타인 경량 유동을 실현하는 서브티튜트 자기주의 주의 메커니즘을 도입하는 것.
• 미분기하학과 최적화 도구를 사용하여 시스템을 분석하는 것. 여기에는 구면 매니폴드 상의 헤시안 분석 및 임계점 분류가 포함된다.
• $\beta \to 0$의 극한을 연구하고, $\beta$에 대한 헤시안 고유값의 연속성을 이용하여, 유일하게 동기화된 구성만 안정적임을 증명하는 수렴 결과를 확립하는 것.

실험 결과

연구 질문

• RQ1 트랜스포머의 자기주의 주의 메커니즘이 시간이 지남에 따라 토큰의 클러스터링을 어떻게 유도하는가?
• RQ2 트랜스포머 내 토큰으로 구성된 입자 시스템의 장기적 행동은 무엇이며, 특히 고차원 설정에서 어떻게 나타나는가?
• RQ3 언어 모델링의 확률적 성격에도 불구하고 트랜스포머가 어떻게 결정론적 출력을 생성하는가?
• RQ4 시스템이 어떤 조건에서 단일 동기화 상태로 수렴하는가? 이는 결합 계수 $\beta$와 어떻게 관련이 있는가?
• RQ5 구면 매니폴드의 기하학적 및 동역학적 성질은 주의 메커니즘의 안정성과 수렴성에 어떻게 영향을 미치는가?

주요 결과

• 고차원에서($d \geq n$), $\mathbb{S}^{d-1}$ 상에 무작위로 초기화된 $n$개의 입자는 $t \to \infty$일 때 단일 점으로 수렴하며, 이는 전역 클러스터링을 나타낸다.
• 작은 $\beta$에 대해, 에너지 함수 $\mathsf{E}_{\beta}$의 동기화 구성 이외의 모든 임계점은 엄격한 안장점이 되며, 이는 동기화 상태의 안정성을 의미한다.
• 시스템은 이중 시간 스케일 동역학을 보이며, 빠른 클러스터링(몇 개의 그룹 형성) 이후 느린 융합 과정을 거쳐 단일 클러스터로 수렴한다.
• 서브티튜트 자기주의 주의 메커니즘은 구면 위의 최적 구성 이론에서 잘 알려진 에너지 함수에 대한 워셔슈타인 경량 유동을 실현한다.
• 임계점에서 에너지 함수의 헤시안은 리만 계량에 독립적이며, 이는 안장점 성질이 경량 유동의 다양한 제작 방식에서도 유지됨을 보장한다.
• 충분히 작은 $\beta \leq c n^{-1}$ (여기서 $c > 0$는 $n$과 독립적임)에 대해, 비동기화 임계점은 모두 엄격한 안장점이 되며, 이는 장기적 한계에서 동기화 상태의 지배성을 확인한다.