[论文解读] Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling

Bairu Hou, Yujian Liu+4 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 4

一句话总结

该论文提出了一种名为输入澄清集成（Input Clarification Ensembling）的新框架，无需微调即可将大语言模型（LLMs）中的不确定性分解为数据不确定性（aleatoric）和模型不确定性（epistemic）。通过生成输入的多个澄清版本，并对 LLM 在这些版本上的预测结果进行集成，该方法实现了类似于贝叶斯神经网络（BNNs）的对称不确定性分解，展示了在多个基准测试中准确且可靠的不确定性量化能力。

ABSTRACT

Uncertainty decomposition refers to the task of decomposing the total uncertainty of a predictive model into aleatoric (data) uncertainty, resulting from inherent randomness in the data-generating process, and epistemic (model) uncertainty, resulting from missing information in the model's training data. In large language models (LLMs) specifically, identifying sources of uncertainty is an important step toward improving reliability, trustworthiness, and interpretability, but remains an important open research question. In this paper, we introduce an uncertainty decomposition framework for LLMs, called input clarification ensembling, which can be applied to any pre-trained LLM. Our approach generates a set of clarifications for the input, feeds them into an LLM, and ensembles the corresponding predictions. We show that, when aleatoric uncertainty arises from ambiguity or under-specification in LLM inputs, this approach makes it possible to factor an (unclarified) LLM's predictions into separate aleatoric and epistemic terms, using a decomposition similar to the one employed by Bayesian neural networks. Empirical evaluations demonstrate that input clarification ensembling provides accurate and reliable uncertainty quantification on several language processing tasks. Code and data are available at https://github.com/UCSB-NLP-Chang/llm_uncertainty.

研究动机与目标

• 解决黑箱、大规模大语言模型缺乏有效不确定性分解方法的问题。
• 克服由于微调或重新训练大语言模型成本高昂，导致无法训练多个模型变体（如贝叶斯神经网络中所做）的不可行性。
• 开发一种仅通过推理时的输入操作即可将总不确定性分解为数据（aleatoric）和模型（epistemic）分量的方法。
• 实现实际应用中提升大语言模型可靠性、可解释性和可信度的不确定性量化。

提出的方法

• 通过调用一个独立的澄清模型，对模糊输入进行重述，生成多个输入澄清版本，以降低数据不确定性。
• 将每个澄清版本输入固定的 LLM，并对模型的预测结果进行集成，以估计输出分布。
• 该框架借鉴了与贝叶斯神经网络（BNNs）相似的对称分解结构，通过不同澄清版本间的预测方差来估计模型不确定性。
• 数据不确定性被量化为输入澄清后的预测方差，而模型不确定性则来自原始输入中剩余的方差。
• 该方法避免了模型参数的更新，完全依赖于输入层面的扰动以及对预训练 LLM 的推理调用。
• 执行单调性检查，以验证澄清后的输入是否产生比原始模糊输入更低的数据不确定性。

Figure 1: Overview of the proposed uncertainty quantification method.

实验结果

研究问题

• RQ1 是否可以在不重新训练模型的前提下，有效将大语言模型中的不确定性分解为数据不确定性与模型不确定性？
• RQ2 输入澄清集成是否能产生与贝叶斯神经网络对称分解结构一致的不确定性估计？
• RQ3 所提出的方法能否可靠地检测模糊输入，并通过基于澄清的集成提升答案召回率？
• RQ4 不确定性分解在不同模糊程度的数据集上的表现如何变化？
• RQ5 澄清模型在多大程度上能够提升不确定性量化和下游性能？

主要发现

• 在输入澄清后，数据不确定性显著下降，验证了不确定性分解的单调性。
• 在 AmbigInst 数据集中，由于模糊性明确，澄清模型生成了有效的澄清，实现了出色的模糊性检测性能。
• 在 AmbigQA 数据集中，模糊性更为微妙，尽管方法仍能改善不确定性量化，但性能受限于模糊性的细微程度。
• 随着澄清数量的增加，正确答案的召回率持续提升，证明了该方法在提升大语言模型可靠性方面的有效性。
• 将该方法与真实答案的消歧处理结合后，性能进一步提升，证实了澄清模块的价值。
• 该框架优于不使用澄清的普通提示方法，表明基于不确定性的输入集成能增强答案覆盖范围与可靠性。

Figure 2: Data uncertainty distribution on the AmbigQA (Min et al., 2020 ) dataset using the BNN method. We use kernel density estimation to smooth the frequency distribution histogram. BNN is achieved by ensembling different in-context examples.