[논문 리뷰] Reasoning about Reasoning: BAPO Bounds on Chain-of-Thought Token Complexity in LLMs

Kiran Tomlinson, Tobias Schnabel외 2명|arXiv (Cornell University)|2026. 02. 02.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

이 논문은 세 가지 BAPO-hard 작업에서 체인-오브-생각 토큰에 대한 Omega(n) 하한을 증명하고 프런티어 모델에서 거의 선형 토큰 스케일링을 보여주며 추론 시점 추론 비용의 근본적 한계를 강조합니다.

ABSTRACT

Inference-time scaling via chain-of-thought (CoT) reasoning is a major driver of state-of-the-art LLM performance, but it comes with substantial latency and compute costs. We address a fundamental theoretical question: how many reasoning tokens are required to solve a problem as input size grows? By extending the bounded attention prefix oracle (BAPO) model--an abstraction of LLMs that quantifies the information flow required to solve a task--we prove lower bounds on the CoT tokens required for three canonical BAPO-hard tasks: binary majority, triplet matching, and graph reachability. We show that each requires $Ω(n)$ reasoning tokens when the input size is $n$. We complement these results with matching or near-matching upper bounds via explicit constructions. Finally, our experiments with frontier reasoning models show approximately linear reasoning token scaling on these tasks and failures when constrained to smaller reasoning budgets, consistent with our theoretical lower bounds. Together, our results identify fundamental bottlenecks in inference-time compute through CoT and offer a principled tool for analyzing optimal reasoning length.

연구 동기 및 목표

• LLMs에서 체인-오브-생각(CoT) 추론의 계산 및 지연 비용으로 인한 추론 시점 확장 문제를 동기 부여한다.
• 정보 흐름과 추론 토큰 요구를 정량화하기 위해 BAPO 모델을 도입하고 확장한다.
• 입력 크기가 커짐에 따라 고전적인 BAPO-hard 작업에 대한 CoT 토큰의 하한을 확립한다.
• 상응하는 또는 거의 상응하는 상한을 명시적 구성으로 제공한다.
• 프런티어 추론 모델로 이론적 결과를 실험해 토큰 스케일링을 선형에 가깝게 확인한다.

제안 방법

• 정보 흐름을 정량화하기 위해 경계 주의 프리픽스 오라클(BAPO) 모델을 확장한다.
• 세 가지 고전적 BAPO-hard 작업인 이진 다수결, 트리플 매칭, 그래프 도달성에 필요한 추론 토큰의 수에 대한 하한을 도출한다.
• 추론 토큰 요구에 대해 상응하거나 거의 상응하는 상한을 얻기 위한 명시적 구성을 제공한다.
• 프런티어 추론 모델로 실험을 수행해 토큰 스케일링과 제한된 추론 예산의 영향을 관찰한다.

실험 결과

연구 질문

• RQ1 입력 크기가 커질 때 고전적 BAPO-hard 작업에 필요한 추론 토큰은 얼마나 되는가?
• RQ2 이진 다수결, 트리플 매칭, 그래프 도달성에 대한 CoT 토큰 요구의 하한이 성립하는가?
• RQ3 하한에 맞먹는 상한을 구성하여 CoT 추론의 토큰 경제를 특징지릴 수 있는가?
• RQ4 프런티어 추론 모델은 이론적 경계와 일치하는 거의 선형의 추론 토큰 스케일링을 보이는가?
• RQ5 이러한 하한이 추론 시점의 계산 및 CoT 전략 최적화에 어떤 함의를 가지는가?

주요 결과

• 세 가지 고전적 BAPO-hard 작업 각각은 입력 크기가 n일 때 Omega(n) 추론 토큰이 필요하다.
• 상응하거나 거의 상응하는 상한을 얻는 명시적 구성들이 토큰 요구에 대해 제시된다.
• 프런티어 추론 모델 실험은 이 작업들에서 대략 선형의 추론 토큰 스케일링을 보인다.
• 결과는 이론적 하한과 일치하며 더 작은 추론 예산으로는 실패를 보여준다.
• 이 연구는 CoT를 통한 추론 시점 계산의 근본적 병목을 식별하고 최적의 추론 길이를 분석하는 도구를 제공한다.