[论文解读] EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling

Shimao Zhang, Yu Bao+1 more|arXiv (Cornell University)|Mar 21, 2024

Topic Modeling被引用 4

一句话总结

本文提出了一种基于熵的动态温度（EDT）采样策略，该策略根据当前词元分布的熵动态调整大语言模型（LLM）解码中的温度参数。通过根据模型的不确定性自适应调整温度，EDT 在多个基准测试中均优于固定温度和其他动态温度方法，显著提升了生成质量和多样性，且计算开销极低。

ABSTRACT

Recently, Large Language Models (LLMs) have demonstrated outstanding performance across a wide range of downstream language tasks. Temperature sampling is a commonly used decoding strategy for LLMs' generation process. However, a fixed temperature parameter is used in most cases, which may not always be an optimal choice for balancing generation quality and diversity. In this paper, we propose an effective Entropy-based Dynamic Temperature (EDT) Sampling method, to achieve a more balanced performance in terms of both generation quality and diversity by dynamically selecting the temperature parameter. Additionally, we also show model performance and comprehensive analyses for 4 different generation benchmarks. Our experiments show that EDT significantly outperforms the existing strategies across different tasks.

研究动机与目标

• 为解决固定温度采样在不同自然语言处理任务中平衡生成质量和多样性的局限性。
• 开发一种轻量级、与任务无关的动态温度策略，使其在解码过程中根据模型的置信度自适应调整。
• 通过实证验证，熵基温度调整相较于现有动态和固定策略能实现更优的性能表现。
• 对温度对 LLM 解码行为和生成结果的影响进行全面分析。
• 为未来研究可学习、自适应的 LLM 解码机制提供启发。

提出的方法

• EDT 在每个解码步骤中，基于当前词元概率分布的熵动态设定温度。
• 温度计算公式为 $ T = T_0 \cdot \theta^{\text{entropy}(p_t)} $，其中 $ T_0 $ 控制温度范围，$ \theta $ 控制对熵的敏感度。
• 熵较低（置信度较高）时，温度降低，更倾向于生成聚焦、高质量的输出。
• 熵较高（置信度较低）时，温度升高，提升多样性与探索性。
• 该方法在自回归解码过程中应用，无需修改模型架构，也无需额外训练。
• 采用 EDA 和 EDA_range 等复合指标对方法进行评估，综合衡量生成质量与多样性。

实验结果

研究问题

• RQ1 基于熵的动态温度采样能否改善 LLM 在生成质量和多样性之间的平衡？
• RQ2 EDT 在多种自然语言生成任务中，相较于固定温度和其他动态温度策略，性能表现如何？
• RQ3 超参数 $ T_0 $ 和 $ \theta $ 对 EDT 的有效性与鲁棒性有何影响？
• RQ4 EDT 是否能减少生成输出中的冗余内容，同时保持或提升事实一致性与语言流畅性？
• RQ5 基于熵的温度调整能否作为通用、轻量级的解码策略，适用于多种语言生成任务？

主要发现

• 在 MS MARCO 问答基准测试中，EDT 显著优于固定温度采样，EDA 得分为 12.15，而固定温度为 12.44。
• EDT 将 EDA_range 降低了 17.7%（从 35.82 降至 29.49），表明其在控制多样性与减少冗余方面表现更优。
• 在 XLSum 摘要数据集上，EDT 生成的输出更简洁准确，ROUGE-L F1 分数更高，同时自相似 BLEU（self-BLEU）分数相近。
• 消融实验表明，最优超参数 $ T_0 $ 和 $ \theta $ 极为关键：在 MS MARCO 上，$ \theta = 0.5 $ 且 $ T_0 = 0.5 $ 时性能最佳。
• EDT 几乎不增加计算开销，且相比其他动态温度方法，GPU 显存使用量减少了约一半。
• 案例研究证实，EDT 能有效减少冗余的背景信息，生成更简洁、更具意义的输出，优于 UDT 和固定温度基线模型。