[論文レビュー] EDIS: Diagnosing LLM Reasoning via Entropy Dynamics

Chenghua Zhu, Siyan Wu+7 more|arXiv (Cornell University)|Feb 1, 2026

Topic Modeling被引用数 0

ひとこと要約

EDIS はトークンレベルのエントロピートラジェクトリを分析してLLMの不安定な推論パターンを検出し、トラジェクトリベースのスコアを用いて推論時の選択を改善しRL訓練を導く。静的な信頼度指標に対して substantial な精度向上を達成。

ABSTRACT

Entropy-based confidence signals are increasingly leveraged to improve reasoning in large language models (LLMs), yet existing approaches treat confidence as a static quantity -- typically aggregated over tokens. We show that the \emph{temporal evolution} of confidence during generation carries richer information than aggregate statistics alone. Analyzing token-level entropy trajectories, we identify characteristic patterns distinguishing correct from incorrect reasoning: erroneous solutions exhibit unstable dynamics, including burst spikes (sustained uncertainty growth) and peak-valley spikes (sharp rebounds following transient confidence). These patterns persist across models and training stages, suggesting they reflect intrinsic properties of reasoning failure rather than superficial noise. To formalize this observation, we introduce the Entropy Dynamics Instability Score ( extbf{EDIS}), a trajectory-level metric quantifying instability in entropy evolution. EDIS serves as an effective diagnostic signal for inference-time selection, substantially improving reasoning accuracy, and offers a promising direction for training-time sample curation. Our findings establish entropy dynamics as an underexplored yet informative lens for understanding and improving LLM reasoning.

研究の動機と目的

• 自己回帰生成中の動的エントロピー解析へと静的信頼信号を越える必要性を動機づける。
• 誤った推論に関連する特徴的なエントロピーダイナミクスパターン（バーストスパイクとピーク–谷スパイク）を特定する。
• エントロピーダイナミクス不安定性スコア（EDIS）を提案・形式化し、エントロピー不安定性を定量化する。
• EDIS が推論時の選択精度を改善し、RL訓練のための訓練時信号を提供することを示す。
• EDIS を他の信頼度指標と相対比較し、限界と将来方向を議論する。

提案手法

• 自己回帰生成中のトークンレベルのエントロピー軌跡 H_t を分析する。
• 不安定性パターンを定義する：ウィンドウ内の総エントロピー成長によるバーストスパイク、歴史的最小値からの反発によるピーク–谷スパイク。
• EDIS = S(H) * (1 + Var(H)) を導入。S(H) はバーストとリバウンド数を結合し、Var(H) はエントロピーの分散。
• GRPO をRLフレームワークとして用い、EDIS をサンプル選択と訓練時の重み付けに適用。
• 複数モデル・温度・データセットを横断して、EDIS を Mean Entropy、Self-Certainty、Sequence Entropy と比較する。

Figure 1 : Token entropy trajectories for correct (top) and incorrect (bottom) reasoning. Correct responses maintain stable, low entropy, while incorrect responses exhibit distinctive instability patterns: peak-valley spikes (entropy drops then rebounds) and burst spikes (progressive entropy rise).

実験結果

リサーチクエスチョン

• RQ1 生成中のエントロピーの時系列変化は、静的エントロピー指標より正確な推論の正誤識別信号を提供するか？
• RQ2 EDIS はモデル・温度・訓練段階に関係なく正解と不正解の応答を信頼性高く分離できるか？
• RQ3 推論時の Best-of-N 選択における EDIS の性能は他の信頼度信号と比べてどうか？
• RQ4 EDIS に基づく訓練信号はLLM の強化学習ベース訓練を改善するか？
• RQ5 エントロピーダイナミクスをモデル訓練・評価に用いる実用的制限と潜在的拡張は何か？

主な発見

m	Dataset	Mean	Maj Vote	Entropy	SC	EDIS	Overall
4	GSM8K	36.0	47.3	53.3	56.3	67.3	31.0, 44.9, 49.3, 50.7, 57.0
4	MATH	30.0	46.3	50.7	53.0	58.0
4	AMC23	38.9	56.7	58.3	56.7	55.8
4	AIME24	7.2	16.7	18.9	16.7	21.1
4	Overall		31.0	44.9	49.3	50.7	57.0
8	GSM8K	36.3	49.7	56.7	58.7	72.3
8	MATH	29.5	46.0	50.3	52.3	60.0
8	AMC23	38.2	59.2	60.0	59.2	57.5
8	AIME24	7.5	16.7	16.7	17.8	17.8
8	Overall	30.8	46.1	50.4	51.9	59.5
16	GSM8K	35.6	49.0	55.0	56.0	72.3
16	MATH	29.5	47.3	52.0	54.0	62.3
16	AMC23	37.6	57.5	60.8	60.0	55.8
16	AIME24	6.9	17.8	20.0	18.9	22.2
16	Overall	30.4	46.2	50.9	51.7	60.6

• 不正解の解答はエントロピーの変動が大きく（1.7x–3.6x）、バーストスパイクとピーク–谷スパイクという二つの不安定性パターンを示す。
• EDIS は正解と不正解の軌跡を信頼性高く分離し、分布の中心値が明確に異なる。
• EDIS ベースの Best-of-N 選択は、ベンチマークとモデル間で最大で相対精度が 82% 向上（例：29.9% から 54.5% へ）。
• EDIS は複数のデータセットと候補プールサイズで、推論時の選択において Mean Entropy、Self-Certainty、Sequence Entropy より上回る。
• RL 実験では EDIS 誘導訓練は maj@8 で最大 +7.7 ポイント、mean@8 で最大 +8.0 ポイントの改善を示し、出力は低エントロピーで短くなる傾向を示す。訓練時の利益を示す。
• EDIS はフィルタリングや重み付け機構を通じた訓練時のサンプルキュレーションに貢献でき、アブレーションでも重み付けによる最大の利益が確認される。

Figure 2 : EDIS (left) vs. mean entropy (right) distributions. EDIS clearly separates correct from incorrect responses, while mean entropy distributions largely overlap.