[論文レビュー] Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs

Angelica Chen, Ravid Schwartz-Ziv+3 more|arXiv (Cornell University)|Sep 13, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、マスクド言語モデル（MLM）における急激な学習ダイナミクスを調査し、損失の急激な低下と一致するタイミングで突然出現する構文的注目構造（SAS）——特定の注目ヘッドが構文的依存関係に集中する構造——を同定した。研究では、SASが文法的能力発達に因果的に不可欠であることを示し、SASの一時的抑制が収束を加速させ、最終的な性能を向上させることを明らかにした。これにより、事前学習における重要な学習期間と単純性バイアスの存在が示された。

ABSTRACT

Most interpretability research in NLP focuses on understanding the behavior and features of a fully trained model. However, certain insights into model behavior may only be accessible by observing the trajectory of the training process. We present a case study of syntax acquisition in masked language models (MLMs) that demonstrates how analyzing the evolution of interpretable artifacts throughout training deepens our understanding of emergent behavior. In particular, we study Syntactic Attention Structure (SAS), a naturally emerging property of MLMs wherein specific Transformer heads tend to focus on specific syntactic relations. We identify a brief window in pretraining when models abruptly acquire SAS, concurrent with a steep drop in loss. This breakthrough precipitates the subsequent acquisition of linguistic capabilities. We then examine the causal role of SAS by manipulating SAS during training, and demonstrate that SAS is necessary for the development of grammatical capabilities. We further find that SAS competes with other beneficial traits during training, and that briefly suppressing SAS improves model quality. These findings offer an interpretation of a real-world example of both simplicity bias and breakthrough training dynamics.

研究の動機と目的

• 事前学習終了段階での分析を超えて、MLM事前学習中に構文的構造の習得がどのようにして生じるかを理解すること。
• 構文的注目構造（SAS）が言語的能力の発達と因果的に関連しているかどうかを調査すること。
• 事前学習中にSASが他の学習戦略と競合する役割を果たすかを検討すること。
• SASを学習中に操作することで、モデルの収束性および最終的性能が向上するかを調査すること。
• 解釈可能性アーティファクトの動的モニタリングを通じて、MLM事前学習における重要な学習期間を同定・特徴化すること。

提案手法

• 注目分布を用いて構文的注目構造（SAS）をモニタリングし、依存解析の正答率を測定することで、無ラベル接続スコア（UAS）を代理指標として用いる。
• SASの抑制を可能にする微分可能な正則化項を導入し、この構造的特徴の制御的操作を可能にする。
• 複数のランダムシードを用いて、MLM損失、暗黙の解析正答率（UAS）、GLUE、およびBLiMPスコアの複数の指標を通じて、学習ダイナミクスを追跡する。
• すべての報告された指標について、95%信頼区間を非パラメトリックブートストラップ法で計算する。
• 固定および可変の学習期間を用いて、SAS抑制あり・なしのモデルを比較し、因果的効果を隔離する。
• 時間経過に伴う表現的・機能的類似性を、中心化カーネル整合性（CKA）および全変動距離（TVD）を用いて分析する。

実験結果

リサーチクエスチョン

• RQ1 構文的注目構造（SAS）は、学習のどの段階で出現し、損失ダイナミクスとどのように相関するか？
• RQ2 SASは、MLMにおける文法的能力習得に因果的に不可欠か？
• RQ3 代替学習戦略は、事前学習中にSASと競合するか？もしそうならば、その競合はモデル性能にどのように影響するか？
• RQ4 特定の期間にSASを抑制することで、最終的なモデル品質が向上し、収束が加速するか？
• RQ5 SASの重要な学習期間はスケールが大きくなっても持続するか？それとも、初期の抑制があってもモデルは最終的に収束するか？

主な発見

• SASの急激な上昇が一貫した学習段階で発生し、損失の急激な低下の直前に発生する。著者らはこれを「構造的発現（structure onset）」と呼ぶ。
• SASの出現に続いて、BLiMPスコアで測定される文法的能力が急激に向上し、「能力発現（capabilities onset）」——機能的性能における相転移的段階——が顕在化する。
• SASは文法的能力発達に因果的に不可欠である：SASを抑制して学習させたモデルは、これらの能力を発達させない。
• 重要な期間にSASを一時的に抑制すると、最終的なモデル品質が向上し、収束が加速する。最も優れたモデルはMLM損失1.55 ± 0.01を達成した。
• 代替戦略の発現以降にSASを抑制すると性能が損なわれ、長期的なSASの回復が不可能になるため、重要な学習段階の終点を示している。
• 初期の乖離があっても、SAS抑制付きで学習させた長期モデル（300Kステップ）は、標準的なBERTと同等の性能に収束し、最終指標に有意差は認められなかった。

(a) Intrinsic dimension (TwoNN) complexity. Alternative complexity metrics in Section L.2 .