[論文レビュー] Transformer Language Models without Positional Encodings Still Learn Positional Information

Adi Haviv, Ori Ram+3 more|arXiv (Cornell University)|Mar 30, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文は、明示的な位置エンコーディングがなくても、因果的アテンションメカニズムを通じて因果的トランスフォーマー言語モデルが暗黙の絶対的位置情報を学習し得ることを示しており、モデルサイズ、データセット、シーケンス長にわたって競争力ある性能を達成している。著者らは、因果的マスクがアテンション可能な先行トークンの数を数えることで、モデルがトークンの位置を推定できることを示し、位置エンコーディングが存在しない状況でNoPosモデルが双方向モデルを上回る理由を説明している。

ABSTRACT

Causal transformer language models (LMs), such as GPT-3, typically require some form of positional encoding, such as positional embeddings. However, we show that LMs without any explicit positional encoding are still competitive with standard models, and that this phenomenon is robust across different datasets, model sizes, and sequence lengths. Probing experiments reveal that such models acquire an implicit notion of absolute positions throughout the network, effectively compensating for the missing information. We conjecture that causal attention enables the model to infer the number of predecessors that each token can attend to, thereby approximating its absolute position. Our findings indicate that causal LMs might derive positional awareness not only from the explicit positioning mechanism, but also from the effects of the causal mask.

研究の動機と目的

• トランスフォーマー言語モデルが明示的な位置エンコーディングなしに位置情報を学習できるかどうかを調査すること。
• 異なるモデルサイズ、データセット、シーケンス長にわたるNoPosモデルのロバストネスを評価すること。
• NoPosモデルの隠れ表現に暗黙の位置認識が生じるかどうかを分析すること。
• 因果的アテンションメカニズムが暗黙の位置学習の原因であるかどうかを特定すること。
• 位置エンコーディングが存在しない状況で、自己回帰的（因果的）モデルと双方向的（マスク付き）モデルの挙動を比較すること。

提案手法

• 明示的な位置エンコーディングを一切使用しないトランスフォーマー言語モデル（NoPos）を訓練し、正弦波、学習可能、およびALiBiの位置エンコーディングを備えたモデルと比較した。
• 異なるネットワーク層における隠れ表現からトークンの位置を予測するためのプローブ分類器を用いた。
• WikiText-103と大規模なPileコーパスの抜粋に対して、検証セットのパープレキシティを指標に性能を測定した。
• マスクド言語モデル（MLM）におけるアブレーションスタディを実施し、双方向アテンションが明示的なエンコーディングなしに位置を学習できるかどうかを検証した。
• アテンションパターンを分析し、因果的マスクが先行トークンの数を推定可能かどうかを評価した。
• 複数のモデルサイズ（125M ～ 1.3Bパラメータ）およびシーケンス長（最大512トークン）にわたってモデルの挙動を評価した。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー言語モデルは、明示的な位置エンコーディングがなくても絶対的位置情報を学習できるか？
• RQ2 因果的アテンションメカニズムは、自己回帰的モデルにおける暗黙の位置学習を可能にするか？
• RQ3 異なるデータセットやモデルサイズにわたって、NoPosモデルの性能は位置認識モデルと比べてどうか？
• RQ4 なぜ双方向マスクド言語モデルは、明示的な位置エンコーディングが存在しないと位置を学習できないのか？
• RQ5 NoPosモデルの隠れ表現は、トークンの真の位置をどの程度正確に予測できるか？

主な発見

• NoPosモデルは、複数のデータセットおよびモデルサイズにわたって、学習可能、正弦波、ALiBiの位置エンコーディングを備えたモデルと同等のパープレキシティスコアを達成した。
• プローブ実験の結果、NoPosモデルは意味的な絶対位置表現を学習しており、平均絶対予測誤差は学習可能位置埋め込みを備えたモデルと同等であった。
• 因果的アテンションマスクにより、モデルは先行トークンの数を暗黙的に推定でき、効果的に絶対位置を近似していた。
• 双方向マスクド言語モデルは、位置エンコーディングなしで訓練すると収束しなかったため、因果的アテンションが暗黙の位置学習に不可欠であることが示された。
• モデルサイズが大きくなるにつれて、NoPosモデルと位置認識モデルの性能差が縮小しており、より大きなモデルは明示的な位置インダクティブバイアスに依存しなくなる可能性を示唆している。
• Pileコーパスで訓練されたNoPosモデルは、17.8の検証パープレキシティを達成したのに対し、最良のベースラインは17.6であった。これは、明示的な位置エンコーディングが存在しないにもかかわらず、ほぼ同等の性能を発揮していることを示している。