[논문 리뷰] Reasoning aligns language models to human cognition

Gonçalo Guiomar, Elia Torre외 5명|arXiv (Cornell University)|2026. 02. 09.

Embodied and Extended Cognition인용 수 0

한 줄 요약

이 논문은 샘플링과 추론을 분리해내는 능동적 확률 추론 과제를 도입하고, 체인-오브-씽킹(CoT) 추론이 주로 추론 품질을 향상시키며 LLM의 의사 결정 전략을 인간 인지와 일치시키는 한편, 샘플링은 여전히 비최적이다.

ABSTRACT

Do language models make decisions under uncertainty like humans do, and what role does chain-of-thought (CoT) reasoning play in the underlying decision process? We introduce an active probabilistic reasoning task that cleanly separates sampling (actively acquiring evidence) from inference (integrating evidence toward a decision). Benchmarking humans and a broad set of contemporary large language models against near-optimal reference policies reveals a consistent pattern: extended reasoning is the key determinant of strong performance, driving large gains in inference and producing belief trajectories that become strikingly human-like, while yielding only modest improvements in active sampling. To explain these differences, we fit a mechanistic model that captures systematic deviations from optimal behavior via four interpretable latent variables: memory, strategy, choice bias, and occlusion awareness. This model places humans and models in a shared low-dimensional cognitive space, reproduces behavioral signatures across agents, and shows how chain-of-thought shifts language models toward human-like regimes of evidence accumulation and belief-to-choice mapping, tightening alignment in inference while leaving a persistent gap in information acquisition.

연구 동기 및 목표

• 샘플링과 추론을 분리해내는 능동적 확률 추론 과제를 도입한다.
• 동일한 지시 하에 이 과제에서 인간과 광범위한 LLM들을 평가한다.
• 인간과 모델 간의 행동을 설명하기 위해 네 가지 잠재 변수로 구성된 기계적 모델을 개발한다.
• 체인 오브 씽킹(CoT) 추론이 LLM을 인간과 유사한 인지 전략으로 이동시키는 정도를 평가한다.

제안 방법

• 4개의 버튼이 있는 능동적 확률 추론 과제를 설계하되, 하나는 RED 방향으로 편향되고, 가용 증거를 조작하기 위한 폐쇄를 포함한다.
• 인간과 LLM이 샘플링 라운드를 수행한 뒤 최종 MAP 기반 추론 라운드를 수행하도록 한다.
• 성능 벤치마크를 위해 샘플링에 PPO를, 추론에 MAP를 사용하는 거의 최적의 참조 에이전트를 정의한다.
• 샘플링과 추론 행동을 설명하기 위해 네 개의 잠재 변수(Memory beta, Strategy kappa, Choice Bias omega, Occlusion Awareness theta)를 갖는 기계적 모델을 적합시킨다.
• β와 κ_f를 사용하여 인간과 모델 계산을 비교하기 위해 공유 인지 공간에 에이전트를 배치한다.

Figure 1: From task performance to latent cognitive variables. A: Task. We introduce an active probabilistic reasoning task in which agents sequentially sample from up to four buttons (A–D), each revealing a binary outcome (RED/GREEN). One button is biased toward RED, while the others are unbiased.

실험 결과

연구 질문

• RQ1 언어 모델이 불확실성 하에서 인간과 유사한 방식으로 의사 결정을 내리는가, 그리고 체인 오브 씽킹(CoT) 추론이 어떤 역할을 하는가?
• RQ2 샘플링과 추론이 성능에 어떻게 기여하는가, 그리고 CoT가 주로 어느 하나를 개선하는가?
• RQ3 메카니즘적 잠재 변수 모델이 인간과 LLM의 의사결정 전략을 일치시킬 수 있는가?
• RQ4 CoT 추론이 LLM을 인간과 유사한 추론으로 얼마나 이끌고 비인간적 샘플링 패턴에서 벗어나게 하는가?

주요 결과

• 확장된 추론은 추론 품질을 상당히 향상시키며, 종종 샘플링 품질보다 더 큰 영향을 미친다.
• CoT로부터의 추론 이익은 LLM을 공유된 인지 공간에서 인간과 더 유사한 전략에 가깝게 정렬한다.
• 일부 추론 모델은 인간의 추론 품질에 필적하거나 이를 능가하지만 여전히 인간 샘플링보다 성능이 떨어진다.
• 네 가지 매개변수 잠재 공간(Memory, Strategy, Choice Bias, Occlusion Awareness)은 인간과 LLM 전반에서 최적 베이즈 행동으로부터의 편차를 포착한다.
• CoT 추론은 LLM을 거의 최적에 가까운 메모리 업데이트와 MAP 유사한 최종 결정으로 이동시키지만, 샘플링은 숙련된 인간에 비해 여전히 비최적이다.

Figure 2: Comparing human and LLM behavior. A: Task performance. Average success rate across trial lengths $N\in\{2,\dots,15\}$ . We report human performance (green), split into lower $75\%$ and top $25\%$ of participants and the near-optimal reference agent (PPO sampling + MAP inference) (light blu