[論文レビュー] Exposing Attention Glitches with Flip-Flop Language Modeling

Bingbin Liu, Jordan T. Ash+3 more|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用数 8

ひとこと要約

この論文は flip-flop language modeling (FFLM) を導入し、トランスフォーマーの長距離推論を探るとともに、LM における長い尾部の注意グリッチがタスクを跨いで再現されることを示し、再帰的モデルとデータ/正則化の改善がこれらのエラーを緩和するが完全には排除できないことを実証する。

ABSTRACT

Why do large language models sometimes output factual inaccuracies and exhibit erroneous reasoning? The brittleness of these models, particularly when executing long chains of reasoning, currently seems to be an inevitable price to pay for their advanced capabilities of coherently synthesizing knowledge, pragmatics, and abstract thought. Towards making sense of this fundamentally unsolved problem, this work identifies and analyzes the phenomenon of attention glitches, in which the Transformer architecture's inductive biases intermittently fail to capture robust reasoning. To isolate the issue, we introduce flip-flop language modeling (FFLM), a parametric family of synthetic benchmarks designed to probe the extrapolative behavior of neural language models. This simple generative task requires a model to copy binary symbols over long-range dependencies, ignoring the tokens in between. We find that Transformer FFLMs suffer from a long tail of sporadic reasoning errors, some of which we can eliminate using various regularization techniques. Our preliminary mechanistic analyses show why the remaining errors may be very difficult to diagnose and resolve. We hypothesize that attention glitches account for (some of) the closed-domain hallucinations in natural LLMs.

研究の動機と目的

• 自動回帰モデルにおける長距離推論と記憶を研究するための最小限で制御可能なベンチマークを動機づける。
• Transformer の注意が flip-flop スタイルの記憶タスクにおける信頼性のギャップ（グリッチ）を引き起こすかどうかを分離する。
• データの多様化と正則化技術が注意グリッチの低減に有効かを評価する。
• 長期依存性のある記憶タスクに対する Transformer の外挿性を再帰的アーキテクチャと比較する。
• 注意グリッチがどのように発生するのか、なぜ完全に排除するのが難しいのかについての機構的洞察を提供する。

提案手法

• FFLM を長さTの flip-flop 文字列と指示（書く、読む、無視）および単一の記憶ビットのパラメトリック分布として定義する。
• 生成モデルおよび決定論的FFLM設定で Transformer および LSTM モデルを評価し、外挿と読取り正確さを測定する。
• さまざまなまばらさ/密度を持つ分布外シーケンス（FFL(0.98) および FFL(0.1)）を用いて尾部挙動を分析し、種間再現性を報告する。
• 注意の鋭化や埋め込みドロップアウトを含む正則化技術を検討し、潜在的な緩和策とする。
• 注意パターンとflip-flop記憶および誤差モードとの機械的な関連を示す予備的機構分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 Transformer モデルは flip-flop 言語を信頼性高く学習して外挿できるか、それとも長い尾の注意グリッチを示すのか。
• RQ2 正則化、注意の鋭化、データの多様化は Transformer における flip-flop エラーの発生を低減できるか。
• RQ3 長距離依存を含む flip-flop 記憶タスクで LSTM は Transformer と比べてどのように挙動するか。
• RQ4 注意グリッチの内部メカニズムは何であり、なぜ排除が難しいのか。
• RQ5 大規模自然言語モデルの新出現能力は、合成 flip-flop タスクへ頑健に一般化するか。

主な発見

• Transformers は flip-flop 言語タスクを完全には習得せず、長距離・短距離の依存関係を通じて散発的な読取りエラーの長い尾部を示す。
• studied 条件下で LSTMs は flip-flop タスクを外挿的に完全に一般化し、耐久性で Transformer を上回る。
• 希少で分布外の flip-flop シーケンスでの学習はエラーを大幅に減少させ、複数の実行で排除されることもある。
• 注意鋭化や他の正則化はエラー率を桁違いに減少させるが、グリッチを完全には排除しない。
• データ量やモデル規模の増加は多様化された訓練データと比較して控えめな改善に留まる一方、多様化はロバスト性の大きな向上をもたらす。
• 注意グリッチにはソフト注意の希釈や非理想的なタイブレークなど、複数の機構が存在し、偽の依存を生む可能性がある。