[论文解读] HALoGEN: Fantastic LLM Hallucinations and Where to Find Them

Abhilasha Ravichander, Shrusti Ghela+2 more|ArXiv.org|Jan 14, 2025

Mental Health and Psychiatry被引用 3

一句话总结

HALOGEN 提供一个大规模、多领域基准，用于量化并对 14 种LLM在 9 项任务中的幻觉进行分类，具备自动原子单位验证，以及探索训练数据与伪造来源的新错误分类法。

ABSTRACT

Despite their impressive ability to generate high-quality and fluent text, generative large language models (LLMs) also produce hallucinations: statements that are misaligned with established world knowledge or provided input context. However, measuring hallucination can be challenging, as having humans verify model generations on-the-fly is both expensive and time-consuming. In this work, we release HALoGEN, a comprehensive hallucination benchmark consisting of: (1) 10,923 prompts for generative models spanning nine domains including programming, scientific attribution, and summarization, and (2) automatic high-precision verifiers for each use case that decompose LLM generations into atomic units, and verify each unit against a high-quality knowledge source. We use this framework to evaluate ~150,000 generations from 14 language models, finding that even the best-performing models are riddled with hallucinations (sometimes up to 86% of generated atomic facts depending on the domain). We further define a novel error classification for LLM hallucinations based on whether they likely stem from incorrect recollection of training data (Type A errors), or incorrect knowledge in training data (Type B errors), or are fabrication (Type C errors). We hope our framework provides a foundation to enable the principled study of why generative models hallucinate, and advances the development of trustworthy large language models.

研究动机与目标

• 在多领域的长文本生成中测量幻觉的普遍性。
• 将模型输出分解为原子事实，并对每个单元与可靠来源进行核对。
• 按潜在来源（预训练数据或伪造）对幻觉错误进行分类。
• 提供一个跨领域的数据集与工具，以研究为何 LLM 会产生幻觉以及如何降低它。

提出的方法

• 构建包含九项任务的 HALOGEN，覆盖基于回答和基于拒绝的设置。
• 使用任务特定的解析器或提示自动将模型输出分解为原子事实。
• 对每个原子单元与外部来源或基于 LLM 的分类器进行核验（例如 Package Index、Semantic Scholar、含义/外在检查）。
• 从分解与验证结果中定义并计算幻觉、响应比率和效用等分数。
• 对幻觉进行注释以分配错误类型（Type A、B、C），基于预训练数据关系。
• 通过追溯幻觉到预训练语料库（如 C4、OpenWebText）及上下文来源来分析归因。

实验结果

研究问题

• RQ1 在多领域中，最先进的 LLM 的幻觉普遍性如何？
• RQ2 幻觉如何因领域与任务类型（代码、摘要、传记、科学归因等）而异？
• RQ3 自动验证器能否可靠地分解并判断生成文本中原子单元的事实性？
• RQ4 预训练数据与伪造（Type A、Type B、Type C）的主要幻觉来源是什么？
• RQ5 模型规模、架构与开放性如何影响幻觉率与拒绝行为？

主要发现

• LLMs 在多项任务中存在显著幻觉，幻觉率随领域与模型不同而在 4% 至 86% 之间。
• 幻觉模式具有领域相关性；较大模型在某些基于回答的任务中通常幻觉较少，但在基于拒绝的任务中未必如此。
• GPT-3.5 与 GPT-4（封闭模型）在多数任务上表现出最强的事实性，而像 Llama-2 与 Mistral 等开源模型在不同类别中表现各异。
• 大量代码包幻觉源自预训练数据（Type B），而某些事实性错误（Type A）源于预训练中存在的正确事实被错误使用。
• 面向内容的摘要在高效用模型中往往具有内在幻觉（上下文处理错误）作为主导错误来源。
• 在摘要任务中，83% 的幻觉是内在的（上下文处理），而 17% 是外在的（引入的外部事实）。