[论文解读] HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models

Junyi Li, Xiaoxue Cheng+3 more|arXiv (Cornell University)|May 19, 2023

Mental Health via Writing被引用 29

一句话总结

HaluEval 提供一个大规模基准测试（30,000 个幻觉样本和 5,000 个带注释的 ChatGPT 响应）来研究大型语言模型的幻觉及其被不同模型和策略识别的情况。

ABSTRACT

Large language models (LLMs), such as ChatGPT, are prone to generate hallucinations, i.e., content that conflicts with the source or cannot be verified by the factual knowledge. To understand what types of content and to which extent LLMs are apt to hallucinate, we introduce the Hallucination Evaluation benchmark for Large Language Models (HaluEval), a large collection of generated and human-annotated hallucinated samples for evaluating the performance of LLMs in recognizing hallucination. To generate these samples, we propose a ChatGPT-based two-step framework, i.e., sampling-then-filtering. Besides, we also hire some human labelers to annotate the hallucinations in ChatGPT responses. The empirical results suggest that ChatGPT is likely to generate hallucinated content in specific topics by fabricating unverifiable information (i.e., about $19.5\%$ responses). Moreover, existing LLMs face great challenges in recognizing the hallucinations in texts. However, our experiments also prove that providing external knowledge or adding reasoning steps can help LLMs recognize hallucinations. Our benchmark can be accessed at https://github.com/RUCAIBox/HaluEval.

研究动机与目标

• 了解 LLMs 倾向幻觉的内容类型以及幻觉的程度。
• 创建一个可扩展的两阶段抽样-过滤管线，以自动生成幻觉样本。
• 提供人工注释，以在 ChatGPT 回应中识别和定位幻觉片段。
• 评估多种 LLM 在不同任务（问答、基于知识的对话、总结）中识别幻觉的能力。
• 提出提高幻觉识别能力的策略（知识检索、推理）。

提出的方法

• 两阶段抽样-过滤管线，用于自动生成幻觉样本。
• 针对通用查询的两种抽样风格：单次抽样和对话指令模式。
• 从种子数据集自动生成 30,000 个任务特定的幻觉样本（问答、对话、总结），并用真实标签线索进行筛选。
• 对 5,000 个 ChatGPT 响应进行人工幻觉标注，提供片段级标签。
• 评估多种 LLM（闭源和开源）在识别幻觉方面的能力。
• 分析改进策略，如外部知识检索和连锁思维推理。

实验结果

研究问题

• RQ1 LLMs 会幻觉哪些类型的内容，以及这类幻觉在不同任务中的普遍程度如何？
• RQ2 当前的 LLM 在生成文本中识别幻觉的能力如何？
• RQ3 外部知识、推理步骤或对比设置是否能改善幻觉识别？
• RQ4 幻觉是否对主题敏感，哪些主题在识别上最具挑战性？

主要发现

• ChatGPT 生成的幻觉大约发生在通用回应的 19.5%。
• LLMs 在识别幻觉方面显示出显著困难，例如 ChatGPT 在总结任务上达到 58.53% 的准确率，在问答-语言任务上达到 62.59%，某些模型接近随机猜测。
• 提供外部知识显著提高识别能力（例如，使用知识检索后，问答准确率提升至 76.83%）。
• 连锁思维推理效果参差不齐：在总结方面有帮助，但在问答和对话中可能降低表现。
• 真实对比测试具有挑战性，可能降低识别性能，凸显基准难度。
• 主题分析表明幻觉识别失败集中在某些主题（如电影、技术、语言），并随任务而异。