[논문 리뷰] How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding

Yuchen Li, Yuanzhi Li외 1명|arXiv (Cornell University)|2023. 03. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 잠재 Dirichlet 배포(Latent Dirichlet Allocation, LDA) 모델에서 생성한 합성 데이터를 사용하여, 단일층 트랜스포머가 임bedding과 자기주의(self-attention)에서 주제 구조를 어떻게 기계적으로 학습하고 인코딩하는지에 대한 이해를 제공한다. 표준 학습 동역학 하에서, 단일 성분(임베딩 또는 주의력)만 학습되더라도, 단어 임베딩과 주의력 가중치가 주제 공존 패턴을 자연스럽게 포착함을 수학적으로 증명한다. 이는 같은 주제에 속한 단어들 간의 유사도와 주의력이 높아지는 것을 의미한다.

ABSTRACT

While the successes of transformers across many domains are indisputable, accurate understanding of the learning mechanics is still largely lacking. Their capabilities have been probed on benchmarks which include a variety of structured and reasoning tasks -- but mathematical understanding is lagging substantially behind. Recent lines of work have begun studying representational aspects of this question: that is, the size/depth/complexity of attention-based networks to perform certain tasks. However, there is no guarantee the learning dynamics will converge to the constructions proposed. In our paper, we provide fine-grained mechanistic understanding of how transformers learn "semantic structure", understood as capturing co-occurrence structure of words. Precisely, we show, through a combination of mathematical analysis and experiments on Wikipedia data and synthetic data modeled by Latent Dirichlet Allocation (LDA), that the embedding layer and the self-attention layer encode the topical structure. In the former case, this manifests as higher average inner product of embeddings between same-topic words. In the latter, it manifests as higher average pairwise attention between same-topic words. The mathematical results involve several assumptions to make the analysis tractable, which we verify on data, and might be of independent interest as well.

연구 동기 및 목표

• 학습 데이터로부터 의미적 주제 구조를 학습하는 트랜스포머의 기계적 기반을 이해하는 것.
• 임베딩 레이어와 자기주의 메커니즘이 독립적으로 주제 공존 패턴을 어떻게 인코딩하는지 조사하는 것.
• 학습 기계를 분리하기 위해 단일층 트랜스포머를 사용한 단순화된 분석 가능한 설정(LDA에서 생성된 데이터)에서 학습 동역학을 분석하는 것.
• 실제 세계 데이터(예: 위키백과)에서 주제 구조가 단지 합성 분포가 아니라 강건하게 학습되는지 확인하는 것.
• 임베딩 레이어나 주의력 메커니즘이 하나만 동결되어도 다른 하나가 상쇄할 수 있음을 보여주어 학습에서의 구조적 중복성을 입증하는 것.

제안 방법

• 알려진 주제-단어 관계를 가진 구조화된 분포를 만드는 데 사용할 수 있는 잠재 Dirichlet 배포(Latent Dirichlet Allocation, LDA) 모델에서 생성한 합성 데이터를 사용한다.
• 마스킹된 언어 모델링 목적함수를 사용하여 단일층 트랜스포머를 학습하고, 학습 가능한 성분(임베딩 또는 주의력 행렬)을 다양하게 설정한다.
• 두 가지 핵심 정리를 수리적으로 정의하고 증명한다: 첫 번째는 최적의 임베딩이 같은 주제에 속한 단어들 간의 내적 곱을 높여 주제 구조를 인코딩함을 보여주고, 두 번째는 임베딩가 고정되어 있을 경우 주의력 행렬이 유사한 구조를 학습함을 보여준다.
• 문장 길이에 기인한 편향을 분리하기 위해 주의력 가중치에 문장 길이로 정규화하는 탈편향 처리를 적용한다.
• 주제 가능성과 모호성 임계값을 기반으로 단어를 필터링하여 핵심 주제 관련 토큰에 집중함으로써 해석 가능성 향상과 노이즈 감소를 도모한다.
• 사전 학습된 BERT, RoBERTa, ELECTRA 등 다양한 모델을 사용하여 실제 위키백과 데이터에서 결과를 검증하고, 같은 주제 간 및 다른 주제 간의 임베딩 유사도와 주의력 가중치를 비교한다.

실험 결과

연구 질문

• RQ1 LDA에서 생성된 데이터를 기반으로 학습된 단일층 트랜스포머의 임베딩 가중치는 어떻게 주제 구조를 반영하는가?
• RQ2 단어 임베딩이 one-hot 벡터로 고정되어 있을 때, 자기주의 메커니즘은 주제 구조를 단독으로 학습할 수 있는가?
• RQ3 학습 동역학이 주제 구조의 부상에 미치는 역할은 무엇이며, 다양한 최적화기와 하이퍼파라미터에서 이 과정이 두 단계 패턴(임베딩 학습 후 주의력 학습)을 따르는가?
• RQ4 BERT나 RoBERTa와 같은 실제 세계의 사전 학습된 모델에서 임베딩과 주의력의 주제 구조는 어느 정도 유지되는가?
• RQ5 문장 길이에 기인한 편향이 주의력 가중치 비교에 미치는 영향은 무엇이며, 이를 어떻게 수정하여 주제 기반 주의력 패턴을 분리할 수 있는가?

주요 결과

• LDA에서 생성된 데이터를 기반으로 학습된 단일층 트랜스포머의 임베딩 레이어는 주제가 같은 단어 쌍 간에 더 높은 내적 곱을 할당하는 방식으로 주제 구조를 학습한다. 이는 정리 1에서 수학적으로 증명되었다.
• 임베딩이 one-hot 벡터로 고정되어 있을 경우, 자기주의 메커니즘(특히 값 행렬)은 주제가 같은 단어 쌍에 더 높은 주의력 가중치를 할당하는 방식으로 주제 구조를 학습한다. 이는 정리 3에서 수식적으로 기술되었다.
• 합성 LDA 데이터에서, 임베딩 유사도와 주의력 가중치는 모두 주제에 해당하는 블록 구조 패턴을 보이며, 같은 주제의 단어 쌍이 다른 주제의 단어 쌍보다 일관되게 높은 성능을 보였다.
• 실제 위키백과 데이터에서, 사전 학습된 모델들인 BERT와 RoBERTa에서는 문장 길이에 따른 탈편향 처리 후, 같은 주제 간 평균 주의력 가중치가 다른 주제 간 평균 주의력 가중치보다 1.12배에서 1.70배 높게 나타났다.
• 탈편향 처리 후, 무작위 초기화된 BERT 모델에서는 같은 주제 간과 다른 주제 간 주의력 간 평균 차이가 유의미하지 않음을 확인하여, 주제 구조는 학습 이후에만 나타남을 확인했다.
• 임베딩이나 주의력 중 하나만 동결되어도 다른 하나는 여전히 주제 구조를 학습하고 유지할 수 있음을 보여주어, 모델의 표현 능력에서 기계적 중복성의 한 형태가 존재함을 입증했다.