[论文解读] AutoHall: Automated Factuality Hallucination Dataset Generation for Large Language Models

Zouying Cao, Yifei Yang+2 more|arXiv (Cornell University)|Sep 30, 2023

Topic Modeling被引用 5

一句话总结

该论文提出 AutoHall，一种使用公开事实核查数据集自动生成模型特定幻觉数据集的自动化方法，消除了昂贵的手动标注成本。此外，该研究还提出一种零资源、黑箱的幻觉检测技术，基于模型生成引用中的自相矛盾现象，其在 ChatGPT 和 Llama-2 模型上的 F1 分数比基线方法高出 20-30%。

ABSTRACT

Large language models (LLMs) have gained broad applications across various domains but still struggle with hallucinations. Currently, hallucinations occur frequently in the generation of factual content and pose a great challenge to trustworthy LLMs. However, hallucination detection is hindered by the laborious and expensive manual annotation of hallucinatory content. Meanwhile, as different LLMs exhibit distinct types and rates of hallucination, the collection of hallucination datasets is inherently model-specific, which also increases the cost. To address this issue, this paper proposes a method called $ extbf{AutoHall}$ for $\underline{Auto}$matically constructing model-specific $\underline{Hall}$ucination datasets based on existing fact-checking datasets. The empirical results reveal variations in hallucination proportions and types among different models. Moreover, we introduce a zero-resource and black-box hallucination detection method based on self-contradiction to recognize the hallucination in our constructed dataset, achieving superior detection performance compared to baselines. Further analysis on our dataset provides insight into factors that may contribute to LLM hallucinations. Our codes and datasets are publicly available at https://github.com/zouyingcao/AutoHall.

研究动机与目标

• 解决大语言模型幻觉检测数据集人工标注的高成本与高耗时问题。
• 开发一种无需人工标注的自动化、可扩展方法，以生成模型特定的幻觉数据集。
• 实现仅依赖模型内部响应的零资源、黑箱幻觉检测方法。
• 研究不同大语言模型中幻觉的普遍性、类型及分布特征。
• 通过分析模型生成引用之间的自相矛盾现象，提升幻觉检测性能。

提出的方法

• 利用现有的公开事实核查数据集（如 WICE、Climate-Fever、PubHealth）提取陈述及其真实标签（事实性/非事实性）。
• 使用目标大语言模型为每条陈述生成多个引用，将这些引用视为潜在的幻觉或事实性响应。
• 根据陈述的真实标签，自动将生成的引用标注为幻觉或事实性。
• 通过将陈述与大语言模型生成的引用及其对应标签配对，构建模型特定的幻觉数据集（AutoHall）。
• 通过每条陈述采样 K 个引用，并检测其内部自相矛盾现象，实现零资源幻觉检测方法。
• 将矛盾响应对的数量作为信号：冲突对数量越多，表示幻觉可能性越高。

实验结果

研究问题

• RQ1 我们能否利用现有事实核查数据集，在无需人工标注的情况下自动生成模型特定的幻觉数据集？
• RQ2 在多个大语言模型生成的引用之间，基于自相矛盾的检测方法在识别幻觉方面效果如何？
• RQ3 在不同大语言模型（如 ChatGPT 和 Llama-2）中，幻觉的普遍性及其主题分布是怎样的？
• RQ4 温度和比较对数量（K）等超参数如何影响幻觉检测性能？
• RQ5 与现有零资源和基于外部知识的幻觉检测基线方法相比，所提方法的性能如何？

主要发现

• AutoHall 能够自动生成模型特定的幻觉数据集，完全消除了人工标注的需求。
• 所提出的基于自相矛盾的检测方法在 ChatGPT 和 Llama-2 模型上均比现有基线方法在 F1 分数上提升 20-30%。
• 与单引用方法相比，使用多引用对比分析可使平均幻觉检测 F1 分数提升 8.91%。
• 在所测试的模型中，大语言模型输出中幻觉的比例估计在 20% 至 30% 之间。
• ChatGPT 生成的幻觉在历史、科技、文化、地理和商业等主题中最为频繁，而 Llama-2-chat 在政治、体育和地理主题中幻觉更多。
• 幻觉引用中的自相矛盾对数量显著高于事实性引用（ChatGPT 在 T=0.9 时，平均冲突数为 2.75；事实性引用为 1.79），证实了该方法的判别能力。