[논문 리뷰] The emergence of clusters in self-attention dynamics

Borjan Geshkovski, Cyril Letrouit외 2명|arXiv (Cornell University)|2023. 05. 09.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 트랜스포머의 자체 어텐션을 상호작용 입자 시스템으로 모델링하여, 토큰이 초기 토큰 위치와 값 행렬의 스펙트럼에 의해 결정되는 볼록 다면체의 꼭짓점이나 초평면으로 渐近적으로 군집됨을 보여준다. 1차원 경우에서 자체 어テン션 행렬이 낮은 질량의 부울 행렬로 수렴함을 증명하여, 어텐션 역학에서 '리더'의 출현을 수학적으로 확인한다.

ABSTRACT

Viewing Transformers as interacting particle systems, we describe the geometry of learned representations when the weights are not time dependent. We show that particles, representing tokens, tend to cluster toward particular limiting objects as time tends to infinity. Cluster locations are determined by the initial tokens, confirming context-awareness of representations learned by Transformers. Using techniques from dynamical systems and partial differential equations, we show that the type of limiting object that emerges depends on the spectrum of the value matrix. Additionally, in the one-dimensional case we prove that the self-attention matrix converges to a low-rank Boolean matrix. The combination of these results mathematically confirms the empirical observation made by Vaswani et al. [VSP'17] that leaders appear in a sequence of tokens when processed by Transformers.

연구 동기 및 목표

• 트랜스포머의 학습된 표현의 기하학적 구조를 이해하기 위해 자체 어텐션을 연속 시간 상호작용 입자 시스템으로 모델링하는 것.
• 고정된, 시간에 의존하지 않는 어텐션 가중치 하에서 시간이 무한히 흐를 때 토큰 역학의 점점 가까워지는 행동을 특성화하는 것.
• 일부 토큰이 어텐션 메커니즘에서 '리더'로 작용한다는 경험적 관찰을 수학적으로 설명하는 것.
• 극한 기하학—다면체 또는 초평면—이 값 행렬 $V$의 스펙트럼 성질에 어떻게 의존하는지 밝혀내는 것.
• 특히 1차원 경우에서 자체 어텐션 행렬이 낮은 질량의 부울 행렬로 수렴하는 조건을 설정하는 것.

제안 방법

• 각 토큰이 쿼리, 키, 밸류 행렬에서 유도된 어텐션 점수에 기반한 가중 평균 집합을 통해 진화하는 연속 시간 동역학 시스템으로 트랜스포머 레이어를 모델링하는 것.
• 자기 어텐션 행렬 $P(t)$를 사용하여 토큰 진화의 동역학을 제어하는 것. 이는 쿼리와 키 사영의 내적의 소프트맥스를 통해 정의된다.
• 시스템의 장기적 행동을 분석하기 위해 동역학 시스템 및 편미분방정식 도구를 적용하는 것.
• 1차원 경우에서 어텐션 가중치의 점근적 분석을 통해 자체 어텐션 행렬이 낮은 질량의 부울 행렬로 수렴함을 증명하는 것.
• 값 행렬 $V$가 양의 정부호일 경우 토큰 군집이 볼록 다면체의 꼭짓점으로 향하고, $V$가 특정 스펙트럼 구조를 가질 경우 초평면으로 향함을 밝혀내는 것.
• 비양의 정부호인 $Q^T K$와 비항등인 $V$의 경우에도 결과를 확장하여 수치 실험을 통해 군집 패턴의 강건성을 제안하는 것.

실험 결과

연구 질문

• RQ1 고정된 어텐션 가중치 하에서 트랜스포머 레이어의 토큰 표현은 시간이 지남에 따라 어떻게 변화하는가?
• RQ2 시간이 무한히 흐를 때 토큰 군집이 형성하는 기하학적 구조는 무엇인가?
• RQ3 값 행렬 $V$의 스펙트럼이 극한 대상(예: 다면체 또는 초평면)의 유형을 어떻게 결정하는가?
• RQ4 자기 어텐션 행렬이 낮은 질량의 부울 행렬로 수렴하는 조건은 무엇인가?
• RQ5 어떤 정도로 $Q^T K$ 또는 $V$에 대한 가정이 완화되어도 군집 현상이 유지되는가?

주요 결과

• 값 행렬 $V > 0$ 인 1차원 경우에서 자체 어텐션 행렬 $P(t)$는 \{0,1\} 원소를 가지는 낮은 질량의 부울 행렬로 수렴하며, 이는 이산적 리더의 출현을 확인한다.
• 값 행렬 $V$가 양의 정부호일 경우 토큰은 초기 토큰 위치에 의해 결정되는 볼록 다면체의 꼭짓점으로 군집된다.
• 값 행렬 $V$가 특정 스펙트럼 구조를 가질 경우 토큰은 초평면으로 군집되며, 극한 구성은 초기 토큰이 $V$의 고유공간에 투영된 결과에 의존한다.
• 수치 실험 결과 $Q^T K$가 양의 준정부호가 아닐 경우에도 군집이 유지됨을 보여, 가정의 엄격함을 초월한 현상의 강건성을 시사한다.
• ReLU 또는 tanh 활성화 함수를 가진 피드포워드 레이어를 추가하더라도 군집은 유지되나, 특정 가중치 설정에서는 동역학이 0으로 붕괴될 수 있음을 확인한다.
• 이론적 프레임워크는 바스와니 등(2017)이 관찰한 바와 같이 일부 토큰이 어텐션 메커니즘에서 '리더'로 작용한다는 경험적 관찰을 점근적 기하 수렴을 통해 확인한다.