[论文解读] Cycles of Thought: Measuring LLM Confidence through Stable Explanations

Evan Becker, Stefano Soatto|arXiv (Cornell University)|Jun 5, 2024

Auction Theory and ApplicationsDecision Sciences被引用 3

一句话总结

该论文提出了一种新颖的框架，通过分析生成解释的稳定性来衡量大语言模型（LLM）的不确定性，将每个解释-答案对视为推理时的分类器。通过使用解释蕴含关系对这些分类器进行后验分布计算，该方法在五个多样化的基准测试中实现了选择性不确定性的最先进性能（AUROC 和 AURC），尤其在复杂推理任务上表现突出。

ABSTRACT

In many high-risk machine learning applications it is essential for a model to indicate when it is uncertain about a prediction. While large language models (LLMs) can reach and even surpass human-level accuracy on a variety of benchmarks, their overconfidence in incorrect responses is still a well-documented failure mode. Traditional methods for ML uncertainty quantification can be difficult to directly adapt to LLMs due to the computational cost of implementation and closed-source nature of many models. A variety of black-box methods have recently been proposed, but these often rely on heuristics such as self-verbalized confidence. We instead propose a framework for measuring an LLM's uncertainty with respect to the distribution of generated explanations for an answer. While utilizing explanations is not a new idea in and of itself, by interpreting each possible model+explanation pair as a test-time classifier we can calculate a posterior answer distribution over the most likely of these classifiers. We demonstrate how a specific instance of this framework using explanation entailment as our classifier likelihood improves confidence score metrics (in particular AURC and AUROC) over baselines across five different datasets. We believe these results indicate that our framework is both a well-principled and effective way of quantifying uncertainty in LLMs.

研究动机与目标

• 为解决大语言模型在错误预测中过度自信的关键问题，特别是在高风险应用场景中。
• 开发一种无需访问模型权重或内部状态的黑箱不确定性量化方法。
• 在现有启发式方法的基础上，进一步提升选择性不确定性的性能——即更好地区分正确与错误预测。
• 通过基于解释的分类器进行归纳边际化，形式化不确定性估计。
• 在多样且复杂的基准测试上评估该方法，以评估其鲁棒性与泛化能力。

提出的方法

• 该方法将每个 LLM 生成的解释-答案对视为推理时的分类器，从而形成可能分类器的分布。
• 通过在这些分类器上进行边际化，计算后验预测分布，并使用解释蕴含关系作为分类器似然性的代理。
• 利用解释蕴含关系对解释进行过滤和重加权，基于其与答案的逻辑一致性，提升置信度校准效果。
• 该框架在推理时利用思维链推理，但重点在于解释的稳定性，而不仅仅是其内容。
• 最终的置信度得分源自经过蕴含验证的稳定解释-答案对的分布。
• 该方法使用 GPT-3.5 和 GPT-4 实现，并在五个多样化数据集上使用标准不确定性指标进行评估。

Figure 1 : Empirical distribution of explanation log likelihoods (top left) and explanation entailment probabilities (top right) generated for the TruthQA dataset using token logits from GPT3.5-Turbo. Red denotes explanations generated by conditioning on the incorrect answer and blue denotes explana

实验结果

研究问题

• RQ1 在缺乏模型内部信息的情况下，解释的稳定性能否作为 LLM 置信度的可靠代理？
• RQ2 与基线方法相比，使用蕴含关系对基于解释的分类器进行加权是否能提升选择性不确定性的性能？
• RQ3 该方法在不同复杂度的数据集上，特别是在推理密集型任务中的表现如何？
• RQ4 该方法在不依赖启发式自我解释的情况下，能在多大程度上减少对错误答案的过度自信？
• RQ5 推理时的解释分布在多大程度上可近似为 LLM 中的贝叶斯后验预测分布？

主要发现

• 所提出的基于稳定解释的置信度方法在选择性不确定性方面优于所有基线方法，在五个数据集上的平均 AUROC 和 AURC 得分均达到最高。
• 在 MMLU 专业法律数据集上，使用 GPT-3.5-Turbo 时，该方法实现了 0.784 的 AUROC 和 0.131 的 AURC，显著优于次优方法。
• 对于 GPT-4-Turbo，在 CommonsenseQA 数据集上实现了 0.899 的 AUROC 和 0.131 的 AURC，表明其在复杂推理任务中表现强劲。
• 消融实验证实，结合蕴含重加权与基于解释的条件答案分布可获得最佳性能，优于单一组件。
• 该方法在复杂、多步骤推理问题（如 MMLU 法律与物理题）上表现出显著增益，而基线方法常在此类问题上失败。
• 尽管在选择性不确定性方面取得显著提升，但校准性能（ECE）未达到最先进水平，作者将其归因于 ECE 在分布偏移下的根本局限性。

Figure 3 : Stable Explanation Prompts