[논문 리뷰] Mapping of attention mechanisms to a generalized Potts model

Riccardo Rende, Federica Gerace외 2명|arXiv (Cornell University)|2023. 04. 14.

Speech and dialogue systems참고 문헌 51인용 수 4

한 줄 요약

이 논문은 트랜스포저의 단일 레이어 자기주의 메커니즘과 단어 위치와 토큰 유형 간 상호작용을 가진 일반화된 품스 모델을 학습하는 역 문제 사이의 정확한 해석적 사상(매핑)을 수립한다. 마스크된 언어 모델링 학습이 의사우도를 통한 역 품스 문제 해결과 동치임을 보이며, 복제 방법을 사용하여 일반화 오차를 해석적으로 계산함으로써 자기주의가 구조적 분포를 학습하는 데서 보이는 통계적 한계를 드러낸다.

ABSTRACT

Transformers are neural networks that revolutionized natural language processing and machine learning. They process sequences of inputs, like words, using a mechanism called self-attention, which is trained via masked language modeling (MLM). In MLM, a word is randomly masked in an input sequence, and the network is trained to predict the missing word. Despite the practical success of transformers, it remains unclear what type of data distribution self-attention can learn efficiently. Here, we show analytically that if one decouples the treatment of word positions and embeddings, a single layer of self-attention learns the conditionals of a generalized Potts model with interactions between sites and Potts colors. Moreover, we show that training this neural network is exactly equivalent to solving the inverse Potts problem by the so-called pseudo-likelihood method, well known in statistical physics. Using this mapping, we compute the generalization error of self-attention in a model scenario analytically using the replica method.

연구 동기 및 목표

• 마스크된 언어 모델링(MLM) 학습 동안 자기주의가 학습하는 통계적 구조를 이해하기 위해.
• 단일 레이어 자기주의 메커니즘이 효율적으로 학습할 수 있는 조건부 확률 분포의 가족을 규명하기 위해.
• 자기주의가 구조적 데이터 분포를 잘 일반화하기 위해 필요한 표본 복잡도를 정량화하기 위해.
• 자기주의와 통계역학 모델, 특히 품스 모델 간의 공식적 연결을 수립하기 위해.

제안 방법

• 시퀀스를 위치와 단어 유형 간 상호작용이 있는 일반화된 품스 모델의 스핀으로 모델링한다.
• 자기주의의 인자 분해를 사용하여, 주로 위치에 따라 주의 가중치가 결정되고 값은 임bedding에만 의존하도록 하여 해석적 접근 가능성을 확보한다.
• 자기주의 메커니즘을 역 품스 문제로 매핑하며, 주의 행렬은 상호작용 결합 계수에 해당하고 값 행렬은 색상 유사도에 해당한다.
• 제로 온도 근사에서 가우시안 사전분포와 제곱 손실을 사용하여 복제 방법을 적용하여 일반화 오차의 일반적인 값을 계산한다.
• 학습 성능을 특징짓는 순서 매개변수(q, r, l 등)에 대한 안정점 방정식을 유도한다.
• 유도된 자유 에너지 밀도를 사용하여 자기주의 모델의 일반화 오차를 해석적으로 평가한다.

실험 결과

연구 질문

• RQ1 마스크된 언어 모델링 하에서 단일 레이어 자기주의 메커니즘이 어떤 유형의 데이터 분포를 효율적으로 학습할 수 있는가?
• RQ2 자기주의의 학습 과정은 품스 모델과 같은 통계역학 모델과 어떻게 관련이 있는가?
• RQ3 자기주의가 구조적 고차원 분포를 학습할 때의 일반화 오차는 무엇인가?
• RQ4 자기주의의 학습 과정을 통계역학의 알려진 역 문제로 정확히 매핑할 수 있는가?
• RQ5 자기주의가 조건부 분포를 잘 일반화하기 위해 필요한 표본 복잡도는 얼마인가?

주요 결과

• 요청한 학습 데이터 집합의 크기가 무한대에 가까워질 때, 인자 분해된 단일 레이어 자기주의는 일반화된 품스 모델의 조건부 분포를 정확히 학습한다.
• 마스크된 언어 모델링을 통한 자기주의 학습은 의사우도 방법을 사용한 역 품스 문제 해결과 수학적으로 동치이다.
• 복제 방법을 사용하여 자기주의의 일반화 오차를 해석적으로 계산할 수 있으며, 제로 온도 근사에서 닫힌 형태의 표현식을 도출할 수 있다.
• 안정점 방정식의 해석은 레이블 노이즈가 입력 노이즈에서 직접 유래하며, 별도로 조절 가능한 것이 아님을 드러낸다.
• 유도된 자유 에너지 밀도는 노이즈가 입력 변동성과 내재적으로 연결된, 노이즈가 있는 레이블과 구조적 데이터를 가진 지도학습의 형태와 일치한다.
• 학습 성능에 대한 단계 전이가 존재하며, 순서 매개변수(q, r, l)는 일반화와 과적합 사이의 트레이드오프를 캡처한다.