[論文レビュー] Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration

Longxuan Wei, Yubo Zhang+8 more|arXiv (Cornell University)|Jan 2, 2026

Topic Modeling被引用数 0

ひとこと要約

Entropy-Treeは高エントロピー点でのエントロピー誘導分岐を用いてデコード経路の木を構築し、ランダムサンプリングに比べて推論精度と不確実性の較正を改善する。

ABSTRACT

Large language models achieve strong reasoning performance, yet existing decoding strategies either explore blindly (random sampling) or redundantly (independent multi-sampling). We propose Entropy-Tree, a tree-based decoding method that exploits entropy as a signal for branching decisions--expanding the search tree only at positions where the model exhibits genuine uncertainty. Entropy-Tree shows superior accuracy and calibration in reasoning tasks: it achieves better pass@k than Multi-chain across multiple models and datasets, and its predictive entropy demonstrates better AUROC compared to several traditional metrics. Entropy-Tree unifies efficient structured exploration and reliable uncertainty estimation within a single decoding procedure.

研究の動機と目的

• 推論タスク中の実モデルの真の不確実性を狙ってデコードを改善する動機づけ。
• プレフィックス共有を伴う高エントロピー位置で分岐する木ベースのデコードフレームワークを開発する。
• 複数モデルとデータセットにわたり、ランダム独立サンプリングよりもpass@k性能を改善することを示す。
• 木の葉からのエントロピー由来の不確実性が伝統的指標よりも良い較正（AUROC）を生むことを示す。

提案手法

• 各デコードステップのトークンごとのエントロピーH_tを計算。
• しきい値tau以上の高エントロピー・トークンを分岐候補として識別。
• 自己注意ベースの重要度I_tと重要度閾値deltaで候補をフィルタ。
• 選択されたトークンで分岐して木を広さ優先で展開し、葉の上限N_treeを設定して展開。
• 葉ノードの出力を用いてp(a|x)と予測エントロピーHを推定し不確実性を定量化。
• Entropy-TreeをMulti-chainと比較し、pass@kとAUROCベースの較正を評価。

Figure 1: Entropy-Tree: Branching at high entropy tokens to form multiple decoding paths.

実験結果

リサーチクエスチョン

• RQ1 エントロピー誘導分岐は推論タスクのpass@kをランダムサンプリングと比べて改善するか。
• RQ2 Entropy-Treeの葉ベース予測分布は既存の不確実性指標より良い較正（AUROC）を生むか。
• RQ3 Entropy-Treeは異なるモデル規模と推論データセットでどう性能を示すか。
• RQ4 分岐位置と高エントロピーガイダンスがデコード品質に与える影響はどのようか。

主な発見

モデル	方法	SVAMP	MATH-500	SciBench	GPQA-main	GPQA-diamond	AIME24	AIME25
Qwen2.5-7B-Instruct	Multi-chain	94.37%	75.41	57.52	71.56	70.83	9.98	17.99
Qwen2.5-7B-Instruct	Entropy-Tree	94.77%	78.24	58.27	72.07	74.81	11.64	23.84
Qwen2.5-14B-Instruct	Multi-chain	96.40%	84.78	71.05	72.11	73.25	11.66	24.64
Qwen2.5-14B-Instruct	Entropy-Tree	96.62%	82.96	71.31	73.53	74.10	12.54	26.20
Qwen2.5-32B-Instruct	Multi-chain	95.37%	77.56	70.58	76.70	78.29	14.86	21.34
Qwen2.5-32B-Instruct	Entropy-Tree	95.46%	79.55	72.23	75.93	77.98	18.33	21.78

• Entropy-Treeは複数のモデルとデータセットでMulti-chainより優れたpass@kを達成。
• Qwen2.5-7B-InstructのMATH-500で、葉数を少なくしてもEntropy-Treeは類似のpass@kを達成（例：pass@13 ≈ Multi-chain pass@20）。
• Entropy-Tree葉の予測エントロピー（ET-PE）はモデルとデータセットを超えて優れたAUROC較正を示す。
• AUROC比較ではEntropy-Treeが従来のエントロピー指標（意味的エントロピーを含む）よりも較正でしばしば上回る。
• アブレーションにより早い分岐（下位百分位閾値）で性能が改善され、エントロピー誘導分岐はランダム分岐より優れている。

Figure 2: The complete decoding process of Entropy-Tree.