[论文解读] Measuring and Reducing LLM Hallucination without Gold-Standard Answers

Jiaheng Wei, Yuanshun Yao+4 more|arXiv (Cornell University)|Feb 16, 2024

Plant-based Medicinal Research被引用 8

一句话总结

FEWL 是一个为没有金标准答案的设置而设计的幻觉（hallucination）度量，使用专家加权的参考 LLMs 与 laziness penalties，以及通过 ICL 和 LF-SFT 降低幻觉的方法，以及 CHALE 基准。

ABSTRACT

LLM hallucination, i.e. generating factually incorrect yet seemingly convincing answers, is currently a major threat to the trustworthiness and reliability of LLMs. The first step towards solving this complicated problem is to measure it. However, existing hallucination metrics require having a benchmark dataset with gold-standard answers, i.e. "best" or "correct" answers written by humans. Such requirements make hallucination measurement costly and prone to human errors. In this work, we propose Factualness Evaluations via Weighting LLMs (FEWL), an innovative hallucination metric that is specifically designed for the scenario when gold-standard answers are absent. FEWL leverages the answers from off-the-shelf LLMs that serve as a proxy of gold-standard answers. The key challenge is how to quantify the expertise of reference LLMs resourcefully. We show FEWL has certain theoretical guarantees and demonstrate empirically it gives more accurate hallucination measures than naively using reference LLMs. We also show how to leverage FEWL to reduce hallucination through both in-context learning and supervised fine-tuning. Extensive experiment results on Truthful-QA, CHALE, and HaluEval datasets demonstrate the effectiveness of FEWL.

研究动机与目标

• 在没有金标准答案时，推动对 LLM 幻觉的测量。
• 引入 FEWL（F actualness Evaluations via Weighting LLMs）作为一个专家加权、基于代理的真实性度量。
• 在缺失金标准的情况下，为 FEWL 与最优答案之间提供理论保证。
• 展示如何通过 in-context learning 与 supervised fine-tuning 使用 FEWL 来减少幻觉。
• 发布大规模 CHALE 基准，以促进无金标准设置下的幻觉研究。

提出的方法

• 通过对参考 LLM 的答案进行加权来计算一个专家权重的真实性分数，使用 lambda_i(x)，该 lambda 来源于参考 LLM 如何不同意故意错误的答案（IW）并同意纠正答案（CO）的程度。
• 引入 laziness penalty，评估同一主题下相邻问题中参考 LLM 的答案有多相似，从而惩罚表面上看起来可信但不正确的回答。
• 用 f-divergence 的变分形式（如 Total-Variation）将这两个组成部分聚合，产生 FEWL。
• 算法步骤包括查询多个参考 LLM、生成 IW/CO 答案、计算 lambda_i(x)、对 KNN 问题计算 laziness penalties，并通过 f-divergence 形式进行组合。
• 提供理论保证，即使在没有金标准答案的情况下，FEWL 也能让表现最好的 LLM 排名第一。

实验结果

研究问题

• RQ1 在利用参考 LLM 的前提下，FEWL 是否能够在没有金标准答案的情况下可靠地测量幻觉？
• RQ2 与天真基于参考的度量相比，专家加权参考与 laziness penalty 是否能提升幻觉测量的准确性？
• RQ3 是否可以通过 in-context learning 和 supervised fine-tuning，在没有金标准标签的情况下，利用 FEWL 来减少幻觉？
• RQ4 FEWL 是否与真实的非幻觉率相关，并能正确按幻觉倾向对 LLMs 进行排序？
• RQ5 将 CHALE 作为无金标准数据的大规模基准来评估幻觉度量的影响如何？

主要发现

• FEWL 在 CHALE 和 Truthful-QA 上区分非幻觉、幻觉或半幻觉答案方面优于基线。
• 在以 GPT-3.5 和 GPT-4 作为参考 LLM 时，具备专家加权和 laziness penalty 的 FEWL 对非幻觉答案给出比基线更高的分数。
• FEWL 能准确按幻觉倾向对 LLMs 进行排序，与 Truthful-QA 的真实非幻觉率一致。
• 以 FEWL 指导的 in-context learning 在回答质量上比基线 ICL 有更大提升。
• 使用 FEWL 选出的答案进行无标签的监督微调，相对于预训练基线提升胜率，且接近真实标签。