[논문 리뷰] Understanding Reasoning in LLMs through Strategic Information Allocation under Uncertainty

Jeonghye Kim, Xufang Luo외 4명|arXiv (Cornell University)|2026. 03. 16.

Logic, Reasoning, and Knowledge인용 수 0

한 줄 요약

이 논문은 추론을 절차적 정보와 인식론적 구두화로 나누는 정보 이론적 프레임워크를 제시하고, 불확실성의 외부화가 정보 얻기의 지속성과 강한 추론 성능의 핵심임을 보여주며, “Wait”와 같은 표면 토큰을 넘어서 설명한다.

ABSTRACT

LLMs often exhibit Aha moments during reasoning, such as apparent self-correction following tokens like "Wait," yet their underlying mechanisms remain unclear. We introduce an information-theoretic framework that decomposes reasoning into procedural information and epistemic verbalization - the explicit externalization of uncertainty that supports downstream control actions. We show that purely procedural reasoning can become informationally stagnant, whereas epistemic verbalization enables continued information acquisition and is critical for achieving information sufficiency. Empirical results demonstrate that strong reasoning performance is driven by uncertainty externalization rather than specific surface tokens. Our framework unifies prior findings on Aha moments and post-training experiments, and offers insights for future reasoning model design.

연구 동기 및 목표

• 순수한 절차적 단계별 실행을 넘어서 LLM의 추론에 대한 형식적 설명 체계를 제시한다.
• 다음 추론을 이끄는 외부화된 불확실성으로서의 인식론적 구두화를 도입한다.
• 정보 충분성을 정의하고 절차적 추론이 막힐 때 외부화된 불확실성이 정보 획득에 어떻게 도움을 주는지 분석한다.
• 표면 토큰이 아니라 불확실성의 외부화가 강한 추론과 자기교정을 이끈다는 것을 경험적으로 입증한다.

제안 방법

• 절차적 구성요소와 인식론적 구성요소를 구분하는 강화된 상태를 가진 자기-베이지안 추론으로 추론을 형식화한다.
• 정답에 대한 진행 상황을 측정하기 위해 정보 이득과 정보 충분성을 정의한다.
• 순수하게 절차적 추론의 한계를 규정하고 발산 상황에서의 실패 모드를 식별한다.
• 계속된 정보 획득을 가능하게 하는 외부화 가능한 인식론적 신호로서의 인식론적 구두화를 도입한다.
• 학습 및 성능에서 인식론적 구두화의 역할을 연구하기 위해 테스트 시점의 인식론적 토큰 조작과 증류를 실험한다.

실험 결과

연구 질문

• RQ1 불확실성 하에서 LLM의 추론에서 절차적 추론과 인식론적 구두화가 정보적으로 어떤 역할을 하는가?
• RQ2 추론 경로 동안 불확실성의 외부화가 정보 이득과 정보 충분성에 어떤 영향을 미치는가?
• RQ3 “Wait”와 같은 토큰이 인식론적 구두화를 인과적으로 반영하는가, 아니면 더 깊은 기전의 표면 지표에 불과한가?
• RQ4 인식론적 구두화를 보존하는 증류 및 학습이 추론 성능에 어떤 영향을 미치는가?

주요 결과

• 인식론적 구두화는 절차적 추론이 멈춰도 계속 정보를 획득하게 하여 정보 충분성을 이끈다.
• 토큰 수준의 불확실성(예: 다음 토큰의 엔트로피)은 정답으로의 진행을 신뢰성 있게 예측하지 못하며 경로 수준의 인식론적 신호가 핵심이다.
• 인식론적 구두화가, 특정 토큰이 아니라, 모델과 과제 전반에 걸쳐 더 강한 추론 및 자기 수정 행동과 상관관계가 있다.
• 인식론적 토큰의 억제는 성능 저하를 가져오고, 이를 유도하거나 인식론적 신호가 있는 다수샷 프롬프트를 사용할 때 추론 성능이 향상된다.
• 인식론적 구두화를 보존하는 증류는 효과적인 전달에 필수적이며, 인식론적 불확실성 신호를 제거하면 절차적 흔적이 정확하더라도 성능이 해를 입는다.