[논문 리뷰] Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration

Longxuan Wei, Yubo Zhang외 8명|arXiv (Cornell University)|2026. 01. 02.

Topic Modeling인용 수 0

한 줄 요약

Entropy-Tree는 엔트로피 유도 분기를 사용하여 고엔트로피 지점에서 디코딩 경로의 트리를 구축하고, 무작위 샘플링에 비해 추론 정확도와 불확실성 보정을 향상시킨다.

ABSTRACT

Large language models achieve strong reasoning performance, yet existing decoding strategies either explore blindly (random sampling) or redundantly (independent multi-sampling). We propose Entropy-Tree, a tree-based decoding method that exploits entropy as a signal for branching decisions--expanding the search tree only at positions where the model exhibits genuine uncertainty. Entropy-Tree shows superior accuracy and calibration in reasoning tasks: it achieves better pass@k than Multi-chain across multiple models and datasets, and its predictive entropy demonstrates better AUROC compared to several traditional metrics. Entropy-Tree unifies efficient structured exploration and reliable uncertainty estimation within a single decoding procedure.

연구 동기 및 목표

• 추론 작업 중 실제 모델 불확실성을 겨냥하여 디코딩을 개선하도록 동기를 부여한다.
• 프리픽스 공유를 통해 고엔트로피 위치에서 분기하는 트리 기반 디코딩 프레임워크를 개발한다.
• 여러 모델과 데이터셋에서 임의 독립 샘플링 대비 향상된 pass@k 성능을 입증한다.
• 나무 잎에서 파생된 엔트로피 기반 불확실성이 전통적 지표보다 더 나은 보정(AUROC)을 제공함을 보여준다.

제안 방법

• 각 디코딩 단계에 대해 토큰별 엔트로피 H_t를 계산한다.
• 임계치 tau 이상인 고엔트로피 토큰을 분기 후보로 식별한다.
• 셀프 어텐션 기반 중요도 I_t와 중요도 임계치 delta로 후보를 필터링한다.
• 선정된 토큰에서 분기하여 트리를 확장하고, 너비 우선 확장과 잎 제한 N_tree를 사용한다.
• 잎 노드 출력으로 p(a|x) 추정과 예측 엔트로피 H를 통한 불확실성 정량화를 수행한다.
• Entropy-Tree를 Multi-chain과 비교하고 pass@k 및 AUROC 기반 보정으로 평가한다.

Figure 1: Entropy-Tree: Branching at high entropy tokens to form multiple decoding paths.

실험 결과

연구 질문

• RQ1 엔트로피 유도 분기가 임의 샘플링과 비교해 추론 작업에서 pass@k를 향상시키는가?
• RQ2 Entropy-Tree의 잎 기반 예측 분포가 기존 불확실성 지표보다 더 나은 보정(AUROC)을 제공하는가?
• RQ3 Entropy-Tree가 다양한 모델 규모와 추론 데이터 세트에서 어떻게 작동하는가?
• RQ4 분기 위치와 고엔트로피 지도가 디코딩 품질에 미치는 영향은 무엇인가?

주요 결과

모델	방법	SVAMP	MATH-500	SciBench	GPQA-main	GPQA-diamond	AIME24	AIME25
Qwen2.5-7B-Instruct	Multi-chain	94.37%	75.41	57.52	71.56	70.83	9.98	17.99
Qwen2.5-7B-Instruct	Entropy-Tree	94.77%	78.24	58.27	72.07	74.81	11.64	23.84
Qwen2.5-14B-Instruct	Multi-chain	96.40%	84.78	71.05	72.11	73.25	11.66	24.64
Qwen2.5-14B-Instruct	Entropy-Tree	96.62%	82.96	71.31	73.53	74.10	12.54	26.20
Qwen2.5-32B-Instruct	Multi-chain	95.37%	77.56	70.58	76.70	78.29	14.86	21.34
Qwen2.5-32B-Instruct	Entropy-Tree	95.46%	79.55	72.23	75.93	77.98	18.33	21.78

• Entropy-Tree는 여러 모델과 데이터셋에서 Multi-chain보다 우수한 pass@k를 달성한다.
• Qwen2.5-7B-Instruct의 MATH-500에서 Entropy-Tree는 잎 수를 줄여도 비슷한 pass@k를 달성한다(예: pass@13 ≈ Multi-chain pass@20).
• Entropy-Tree 잎에서의 예측 엔트로피(ET-PE)는 모델 및 데이터셋 전반에서 우수한 AUROC 보정을 제공한다.
• AUROC 비교에서 Entropy-Tree가 전통적 엔트로피 지표(의미론 엔트로피 포함)보다 보정 성능이 더 뛰어난 경우가 많다.
• 변형 실험에서 조기 분기(더 낮은 백분위 임계치)가 성능을 향상시키고 엔트로피 유도 분기가 임의 분기보다 우수하다는 것을 보인다.

Figure 2: The complete decoding process of Entropy-Tree.