[論文レビュー] Let's Think Dot by Dot: Hidden Computation in Transformer Language Models

Jacob Pfau, William Merrill+1 more|arXiv (Cornell University)|Apr 24, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、意味のないフィラー・トークン（例：'……'）を用いてトランスフォーマーが複雑なアルゴリズム的計算を実行できることを示しており、直接的なプロンプト提示では失敗する合成タスク（例：3SUM）において100%の正確性を達成している。結果から、中間トークンが意味的コンテンツとは独立して計算的利点を提供することが明らかになった。これは、大規模言語モデルにおける隠れた、検証不能な計算の存在を示している。

ABSTRACT

Chain-of-thought responses from language models improve performance across most benchmarks. However, it remains unclear to what extent these performance gains can be attributed to human-like task decomposition or simply the greater computation that additional tokens allow. We show that transformers can use meaningless filler tokens (e.g., '......') in place of a chain of thought to solve two hard algorithmic tasks they could not solve when responding without intermediate tokens. However, we find empirically that learning to use filler tokens is difficult and requires specific, dense supervision to converge. We also provide a theoretical characterization of the class of problems where filler tokens are useful in terms of the quantifier depth of a first-order formula. For problems satisfying this characterization, chain-of-thought tokens need not provide information about the intermediate computational steps involved in multi-token computations. In summary, our results show that additional tokens can provide computational benefits independent of token choice. The fact that intermediate tokens can act as filler tokens raises concerns about large language models engaging in unauditable, hidden computations that are increasingly detached from the observed chain-of-thought tokens.

研究の動機と目的

• トランスフォーマーにおける中間トークンが意味的コンテンツを越えて計算的パワーを提供するかどうかを調査すること。
• 意味のないフィラー・トークン（例：'……'）が、そうでなければ解けないアルゴリズム的タスクをトランスフォーマーが解けるようにするかを特定すること。
• チェーン・オブ・スティェンス・プロンプティングによるパフォーマンス向上が、構造的計算由来か、解釈可能な推論由来かを評価すること。
• フィラー・トークンの使用法を教師あり微調整によって学習可能かどうかを評価すること。
• 一階論理における量記号の深さに基づいて、フィラー・トークンが有用となる問題のクラスを理論的に特徴づけること。

提案手法

• 著者らは、直接的なプロンプト提示では解けないが、中間トークンを用いれば解けるように設計された2つの合成データセット（3SUM および 2SUM-Transform）を構築した。
• モデルは、入力と出力の間にフィラー・トークン（'……'）を挿入したシーケンスを用いて微調整され、次トークン予測を目的関数とした。
• パフォーマンスは、より長いおよびより複雑な入力へのゼロショット一般化を評価し、フィラー・トークン、チェーン・オブ・スティェンス、および中間トークンなしのベースラインと比較した。
• 理論的分析により、フィラー・トークンの有用性が一階論理における量記号の深さと関連づけられ、量記号の深さが2を超える問題はフィラー・トークンを用いることで表現可能であることが示された。
• アブレーションスタディでは、フィラー・オンativeシーケンスとチェーン・オブ・スティェンス・シーケンスの両方で学習した場合を比較し、学習の難易度を隔離した。
• 実験的評価では、合成データで微調整されたLLaMAベースのモデルを用い、複数のランダムシードおよびハイパーパramータ設定でパフォーマンスを測定した。

Figure 1: A stylized example distinguishing between three LM question-answering protocols: chain of thought, filler tokens, and immediate answer. In the filler-tokens setting, the LM uses arbitrary, irrelevant intermediate tokens (e.g., ‘……’) before answering, but the filler tokens’ hidden-layer rep

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは、中間トークンに意味的コンテンツを一切含めずに、フィラー・トークンのみを用いてアルゴリズム的タスクを解けるか？
• RQ2 チェーン・オブ・スティェンス・プロンプティングによるパフォーマンス向上は、追加の計算由来である割合がどの程度か？
• RQ3 フィラー・トークンを効果的に使用できるようにトランスフォーマーを訓練することは可能か？また、そのために必要な監督の種類は何か？
• RQ4 どのクラスの問題がフィラー・トークンによって解けるようになるのか？そしてそれは論理的表現力とどのように関係するか？
• RQ5 フィラー・トークンの使用は、大規模言語モデルの推論の解釈可能性と検証可能性を損なうのか？

主な発見

• 3SUMタスクでは、フィラー・トークンを用いたモデルが100%の正確性を達成したのに対し、フィラーなしで即座に答えを出す設定では正確性がほぼゼロであった。
• 2SUM-Transformタスクでは、フィラー・トークンを用いたモデルが94%の正確性を達成し、チェーン・オブ・スティェンス・プロンプティングの95.1%に近い性能を示した。
• 入力の長さと複雑さが増すにつれて、フィラー・トークンを用いたパフォーマンスが顕著に向上した。これは、意味的コンテンツを超えた計算的利点があることを示している。
• フィラー・オンリーシーケンスでの学習では、わずか71%程度の正確性にとどまり、平行処理可能な監督がなければフィラー・トークンの使用を学習するのは難しいことが示された。
• インスタンスに適応したチェーン・オブ・スティェンスデータで学習したモデルは、フィラー・トークンのシーケンスに一般化できなかった。これは、逐次的推論からフィラー使用への知識の転送が行われていないことを示している。
• 理論的分析により、フィラー・トークンは特に量記号の深さが高い問題に対して、TC⁰複雑度クラス内での表現力を拡張することが明らかになった。

Figure 2: The performance gap between a transformer, Llama 34M, with and without filler tokens increases with 3SUM problem length up to length 12, showing that filler tokens reliably provide an advantage for sufficiently complex 3SUM problems. The no-filler models were trained for 5 $\times$ the num