[論文レビュー] How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding

Yuchen Li, Yuanzhi Li+1 more|arXiv (Cornell University)|Mar 7, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、潜在ディリクレ割り当て（LDA）モデルから生成された合成データを用いて、単層トランスフォーマーが埋め込みおよび自己注意機構においてトピック構造をどのように学習・符号化するかの機構的理解を提供する。標準的な学習ダイナミクス下で、埋め込みや注意重みが単一の成分（埋め込みまたは注意）のみを訓練しても、同じトピックに属する語の間で類似性および注意が高くなるという、トピック共起パターンを自然に捉える数学的証明を提示している。

ABSTRACT

While the successes of transformers across many domains are indisputable, accurate understanding of the learning mechanics is still largely lacking. Their capabilities have been probed on benchmarks which include a variety of structured and reasoning tasks -- but mathematical understanding is lagging substantially behind. Recent lines of work have begun studying representational aspects of this question: that is, the size/depth/complexity of attention-based networks to perform certain tasks. However, there is no guarantee the learning dynamics will converge to the constructions proposed. In our paper, we provide fine-grained mechanistic understanding of how transformers learn "semantic structure", understood as capturing co-occurrence structure of words. Precisely, we show, through a combination of mathematical analysis and experiments on Wikipedia data and synthetic data modeled by Latent Dirichlet Allocation (LDA), that the embedding layer and the self-attention layer encode the topical structure. In the former case, this manifests as higher average inner product of embeddings between same-topic words. In the latter, it manifests as higher average pairwise attention between same-topic words. The mathematical results involve several assumptions to make the analysis tractable, which we verify on data, and might be of independent interest as well.

研究の動機と目的

• トレーニングデータからトランスフォーマーが意味的トピック構造を学習するメカニズム的基盤を理解すること。
• 埋め込み層と自己注意機構の両方が、独立してトピック共起パターンを符号化できるかどうかを調査すること。
• 単一層トランスフォーマーを用いた簡素化された解析可能な設定（LDA生成データ）で学習メカニズムを隔離して分析すること。
• 実世界のデータ（例：ウィキペディア）においてもトピック構造が強く学習されることを検証し、合成分布に限定されないことを確認すること。
• 埋め込み層または注意機構の一方を固定した場合に、他方がその補完的役割を果たすことを示し、学習における構造的再冗長性を示すこと。

提案手法

• 潜在ディリクレ割り当て（LDA）モデルから生成された合成データを用い、既知のトピック-語関係を持つ制御された構造的分布を構築する。
• マスク言語モデリング目的関数を用いて単一層トランスフォーマーを訓練し、訓練可能な成分（埋め込みまたは注意行列）を変化させる。
• 2つの主要な定理を形式化・証明する：1つ目は最適な埋め込みが同じトピックに属する語の間で内積を高める形でトピック構造を符号化することを示し、2つ目は埋め込みが固定された場合に注意行列が同様の構造を学習することを示す。
• 文の長さに起因するバイアスを分離するために、注意重みに文長で正規化（デバイアス正規化）を適用する。
• トピック尤度と曖昧さの閾値に基づいて語をフィルタリングし、コアなトピック関連トークンに集中することで解釈可能性を向上させ、ノイズを低減する。
• 事前学習済みのBERT、RoBERTa、ELECTRAなど複数のモデルを用いて、実際のウィキペディアデータで検証し、同じトピック内と異なるトピック間の埋め込み類似性および注意重みを比較する。

実験結果

リサーチクエスチョン

• RQ1 LDA生成データで訓練された単層トランスフォーマーの埋め込み重みは、どのようにしてトピック構造を反映するよう学習するか？
• RQ2 語の埋め込みをワンホットベクトルに固定した場合、自己注意機構は単独でトピック構造を学習できるか？
• RQ3 トレーニングダイナミクスがトピック構造の出現に果たす役割は何か？また、最適化手法やハイパーパrameterにかかわらず、2段階のプロセス（埋め込みの学習、次に注意機構の学習）に従うか？
• RQ4 BERT や RoBERTa などの実世界の事前学習モデルにおいて、埋め込みと注意機構のトピック構造はどの程度保持されるか？
• RQ5 文の長さに起因するバイアスが注意重みの比較に与える影響は何か？また、トピックベースの注意パターンを分離するために、どのようにしてこれを是正できるか？

主な発見

• LDA生成データで訓練された単層トランスフォーマーの埋め込み層は、定理1で示されるように、同じトピックに属する語のペアに対して内積を高くするよう学習する。
• 埋め込みがワンホットベクトルに固定された場合、自己注意機構（特に値行列）は定理3で形式化されたように、同じトピックに属する語のペアに対して高い注意重みを割り当てるよう学習する。
• 合成LDAデータでは、埋め込み類似性と注意重みの両方が、トピックに対応する明確なブロック構造を示し、同じトピック内ペアが常に異なるトピックペアを上回る。
• 実際のウィキペディアデータでは、BERT や RoBERTa などの事前学習モデルにおいて、文長のデバイアス補正後、同じトピック内語の平均注意重みが、異なるトピック間の平均注意重みの1.12〜1.70倍にのぼる。
• デバイアス補正後、ランダム初期化されたBERTモデルでは、同じトピック内と異なるトピック間の平均注意重みに有意差が認められず、トピック構造が訓練後にのみ出現することを確認した。
• 埋め込み層または注意機構の一方を固定した場合でも、他方が依然としてトピック構造を学習・維持できるため、モデルの表現能力にメカニズム的再冗長性が存在することが示された。