[论文解读] Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs

Miao Xiong, Zhiyuan Hu+5 more|arXiv (Cornell University)|Jun 22, 2023

Artificial Intelligence in Law被引用 49

一句话总结

本论文基准测试非对数似然基(confidence) elicitation 方法在大型语言模型上的表现，比较口头表达、基于一致性的方法以及混合方法在多种模型与任务中的校准与表达的不确定性可靠性。

ABSTRACT

Empowering large language models to accurately express confidence in their answers is essential for trustworthy decision-making. Previous confidence elicitation methods, which primarily rely on white-box access to internal model information or model fine-tuning, have become less suitable for LLMs, especially closed-source commercial APIs. This leads to a growing need to explore the untapped area of black-box approaches for LLM uncertainty estimation. To better break down the problem, we define a systematic framework with three components: prompting strategies for eliciting verbalized confidence, sampling methods for generating multiple responses, and aggregation techniques for computing consistency. We then benchmark these methods on two key tasks-confidence calibration and failure prediction-across five types of datasets (e.g., commonsense and arithmetic reasoning) and five widely-used LLMs including GPT-4 and LLaMA 2 Chat. Our analysis uncovers several key insights: 1) LLMs, when verbalizing their confidence, tend to be overconfident, potentially imitating human patterns of expressing confidence. 2) As model capability scales up, both calibration and failure prediction performance improve. 3) Employing our proposed strategies, such as human-inspired prompts, consistency among multiple responses, and better aggregation strategies can help mitigate this overconfidence from various perspectives. 4) Comparisons with white-box methods indicate that while white-box methods perform better, the gap is narrow, e.g., 0.522 to 0.605 in AUROC. Despite these advancements, none of these techniques consistently outperform others, and all investigated methods struggle in challenging tasks, such as those requiring professional knowledge, indicating significant scope for improvement. We believe this study can serve as a strong baseline and provide insights for eliciting confidence in black-box LLMs.

研究动机与目标

• 推动在不依赖模型对数（logits）或微调的前提下进行置信度 elicitation 的需求，适用于LLM的闭源 API。
• 引入三大类方法——口头表达、基于一致性的方法，以及混合方法，并建立一个全面的基准框架。
• 分析这些方法在不同推理任务和模型规模下的表现，以识别优点、局限和改进方向。
• 就LLM置信度估计的校准、可靠性及实际部署考虑提供见解。

提出的方法

• 将置信度 elicitation 方法分为三类：口头表达（直接输出置信度）、基于一致性（使用多次响应来估计置信度）与混合（结合两者信号）。
• 在五个覆盖常识、算术、符号、伦理和专业知识任务的数据集上评估四种LLM（GPT-3、GPT-3.5、GPT-4、Vicuna）。
• 采用零调优、无访问日志/嵌入的做法；依赖提示策略如 Chain-of-Thought（CoT）、Top-K、多步置信、自一致性、诱导一致性及混合化。
• 采用校准与失效检测指标（ECE、AUROC、AUPRC-Positive、AUPRC-Negative）来量化跨任务的置信度质量。
• 将口头表达信号与一致性信号进行混合，作为混合置信度的聚合，以在单一信号上的可靠性提升。
• 详述口头表达提示（标准、基于CoT、多步、Top-K）及一致性提示（自一致性、诱导一致性）以及混合方法的提示与设置。

实验结果

研究问题

• RQ1 在没有对数 logits 或微调的情况下，LLM 能多大程度上表达其不确定性？
• RQ2 在多样任务和模型上，一致性基础的方法是否优于 vanilla 口头置信度？
• RQ3 将口头表达与一致性信号结合的混合方法是否在校准与失效检测方面具有优越表现？
• RQ4 各置信度 elicitation 方法在任务与模型依赖的优势与局限，尤其是在专业知识任务上表现如何？

主要发现

• 以 vanilla 形式表达的口头置信度在所有模型和任务中普遍过于自信。
• 如 CoT、Top-K、多步等提示策略可改善口头置信度的校准，其中 Top-K 往往最为有效。
• 基于一致性的方法通常优于口头方法，尤其在算术推理任务中表现明显。
• 混合方法在多数情况下达到并超过现有基线，在20例中的13例取得最优，且提升了失效检测指标。
• 在需要专业知识的困难任务上，所有方法仍有不足之处，需进一步改进。