[論文レビュー] Reasoning about Reasoning: BAPO Bounds on Chain-of-Thought Token Complexity in LLMs

Kiran Tomlinson, Tobias Schnabel+2 more|arXiv (Cornell University)|Feb 2, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

論文は三つのBAPO困難タスクにおけるチェーン・オブ・思考トークンのOmega(n)下界を証明し、フロンティアモデルでほぼ線形のトークンスケーリングを示し、推論時の推論コストの基本的な限界を浮き彫りにしている。

ABSTRACT

Inference-time scaling via chain-of-thought (CoT) reasoning is a major driver of state-of-the-art LLM performance, but it comes with substantial latency and compute costs. We address a fundamental theoretical question: how many reasoning tokens are required to solve a problem as input size grows? By extending the bounded attention prefix oracle (BAPO) model--an abstraction of LLMs that quantifies the information flow required to solve a task--we prove lower bounds on the CoT tokens required for three canonical BAPO-hard tasks: binary majority, triplet matching, and graph reachability. We show that each requires $Ω(n)$ reasoning tokens when the input size is $n$. We complement these results with matching or near-matching upper bounds via explicit constructions. Finally, our experiments with frontier reasoning models show approximately linear reasoning token scaling on these tasks and failures when constrained to smaller reasoning budgets, consistent with our theoretical lower bounds. Together, our results identify fundamental bottlenecks in inference-time compute through CoT and offer a principled tool for analyzing optimal reasoning length.

研究の動機と目的

• LLMsにおけるチェーン・オブ・思考（CoT）推論の計算コストと待機遅延の影響による推論時スケーリング課題を動機付ける。
• 情報の流れと推論トークン要件を定量化するために、BAPOモデルを導入・拡張する。
• 入力サイズの増加に伴い、標準的なBAPO困難タスクに対するCoTトークンの下界を確立する。
• 一致するまたはほぼ一致する上界を、明示的な構成とともに提供する。
• フロンティア推論モデルでの実験により、理論的境界と一致する、あるいはほぼ直線的なトークンスケーリングを検証する。

提案手法

• 境界付きアテンション・プレフィックス・オラクル（BAPO）モデルを拡張して、タスク解決における情報流を定量化する。
• 三つの標準的なBAPO困難タスク：二値多数決、トリプレット照合、グラフ到達性のための推論トークン数の下界を導出する。
• 推論トークン要件の一致するまたはほぼ一致する上界を得るための明示的な構成を提供する。
• フロンティア推論モデルを用いた実験を行い、トークンスケーリングと限られた推論予算の影響を観察する。

実験結果

リサーチクエスチョン

• RQ1 標準的なBAPO困難タスクに対して、入力サイズが増加すると、推論トークンはいくつ必要になるのか。
• RQ2 二値多数決、トリプレット照合、グラフ到達性に対するCoTトークン要件の下界は成り立つか。
• RQ3 下界に一致する、または一致する上界を構築してCoT推論のトークン経済を特徴づけられるか。
• RQ4 フロンティア推論モデルは、理論境界と整合する、ほぼ線形の推論トークンスケーリングを示すか。
• RQ5 これらの境界は推論時の計算とCoT戦略の最適化にどのような影響を与えるか。

主な発見

• 三つの標準的なBAPO困難タスクはいずれも、入力サイズnに対してOmega(n)の推論トークンを必要とする。
• トークン要件について、一致するまたはほぼ一致する上界を明示的構成で得られる。
• フロンティア推論モデルを用いた実験は、これらのタスクでおおむね線形の推論トークンスケーリングを示す。
• 結果は理論的下界と一致し、より小さな推論予算に制約されると機能しないことを示す。
• 本研究はCoTを通じた推論時の計算の根本的なボトルネックを特定し、最適な推論長を分析するツールを提供する。