[論文レビュー] Towards Revealing the Mystery behind Chain of Thought: A Theoretical Perspective

Guhao Feng, Bohang Zhang+4 more|arXiv (Cornell University)|May 24, 2023

Advanced Graph Neural Networks被引用数 25

ひとこと要約

本論文はなぜ Chain-of-Thought プロンプトが LLM を助けるのかを分析し、複雑性理論の結果を通じて CoT がダイレクトな生成では解けない数学および DP タスクの解法を可能にすることを示し、補足実験を提供する。

ABSTRACT

Recent studies have discovered that Chain-of-Thought prompting (CoT) can dramatically improve the performance of Large Language Models (LLMs), particularly when dealing with complex tasks involving mathematics or reasoning. Despite the enormous empirical success, the underlying mechanisms behind CoT and how it unlocks the potential of LLMs remain elusive. In this paper, we take a first step towards theoretically answering these questions. Specifically, we examine the expressivity of LLMs with CoT in solving fundamental mathematical and decision-making problems. By using circuit complexity theory, we first give impossibility results showing that bounded-depth Transformers are unable to directly produce correct answers for basic arithmetic/equation tasks unless the model size grows super-polynomially with respect to the input length. In contrast, we then prove by construction that autoregressive Transformers of constant size suffice to solve both tasks by generating CoT derivations using a commonly used math language format. Moreover, we show LLMs with CoT can handle a general class of decision-making problems known as Dynamic Programming, thus justifying its power in tackling complex real-world tasks. Finally, an extensive set of experiments show that, while Transformers always fail to directly predict the answers, they can consistently learn to generate correct solutions step-by-step given sufficient CoT demonstrations.

研究の動機と目的

• CoTなしで基本的な数学タスクに対する有界深さの Transformer の表現力の限界を評価する。
• 定数サイズの自己回帰 Transformer が算術および方程式タスクの CoT 解を生成できることを示す。
• 形式的枠組みの下で CoT を備えた LLM が動的計画法問題を解けることを示す。
• CoT が正しい逐次的解法と長い入力への一般化を可能にすることを実証的に示す。

提案手法

• 深さ/サイズのトレードオフを検討するために Transformer を対数精度の自己回帰回路としてモデル化する。
• 不可能性の結果を証明する: 有界深さの Transformer は TC0 対 NC1 の仮定の下で CoT なしに Arithmetic(n,p) および Equation(m,p) を解けない。
• 構成的証明: 定数サイズの自己回帰 Transformer は Arithmetic(n,p) および Equation(m,p) の CoT 解を生成できる。
• DP 問題を状態空間、遷移、集約で定式化し、CoT 有効な Transformer が正しい DP 出力を生み出せることを証明する（定理 4.7）。
• CoT なしの DP に対する不可能性の結果を CFG Membership Testing を通じて示す（定理 4.8）。
• 算術、方程式、LIS、編集距離タスクでの実験を補完し、CoT の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 有界深さの Transformer は CoT なしで算術式や一次方程式の正しい答えを直接出力できるか。
• RQ2 CoT を生成することで Transformer 回路の実効的な深さがこれらのタスクを解くのに十分に増加するか。
• RQ3 CoT を備えた LLM が DP 問題を解けるか、どのような仮定のもとで？
• RQ4 ネットワークの深さを増やさずに CFG メンバーシップテストのような問題に対する CoT の限界は何か。

主な発見

• 不可能性の結果は、有界深さの対数精度 Transformer が TC0≠NC1 の下で CoT なしに Arithmetic(n,p) または Equation(m,p) を解けないことを示す。
• 定数サイズの自己回帰 Transformer は深さ 5 または 4 で、任意の次数のパラメータを多項式で制限した CoT 解を Arithmetic(n,p) および Equation(m,p) に対して生成できる。
• CoT を備えた LLM は一般的な DP 問題を解け、定理 4.7 が緩い仮定の下でサイズ n までの入力に対する正確性を証明する。
• CoT なしでは CFG Membership Testing のような DP 問題は有界深さの Transformer にとって難しくなる（定理 4.8）。
• 算術、方程式、LIS、編集距離にわたる実験は、CoT 学習済みモデルが高い精度を達成し、長い入力へ一般化することを示す。一方、直接出力モデルはそうでない。