[论文解读] HalluDial: A Large-Scale Benchmark for Automatic Dialogue-Level Hallucination Evaluation

Wen Luo, Tianshu Shen+5 more|arXiv (Cornell University)|Jun 11, 2024

Schizophrenia research and treatmentMedicine被引用 3

一句话总结

HalluDial 引入了首个大规模对话级幻觉评估基准，涵盖 4,094 个对话（146,856 个样本）中的事实性与忠实性幻觉。它通过幻觉检测、定位和理由生成实现全面评估，并支持专门的裁判模型（如 HalluJudge）的开发，该模型在自动幻觉评估中表现优异。

ABSTRACT

Large Language Models (LLMs) have significantly advanced the field of Natural Language Processing (NLP), achieving remarkable performance across diverse tasks and enabling widespread real-world applications. However, LLMs are prone to hallucination, generating content that either conflicts with established knowledge or is unfaithful to the original sources. Existing hallucination benchmarks primarily focus on sentence- or passage-level hallucination detection, neglecting dialogue-level evaluation, hallucination localization, and rationale provision. They also predominantly target factuality hallucinations while underestimating faithfulness hallucinations, often relying on labor-intensive or non-specialized evaluators. To address these limitations, we propose HalluDial, the first comprehensive large-scale benchmark for automatic dialogue-level hallucination evaluation. HalluDial encompasses both spontaneous and induced hallucination scenarios, covering factuality and faithfulness hallucinations. The benchmark includes 4,094 dialogues with a total of 146,856 samples. Leveraging HalluDial, we conduct a comprehensive meta-evaluation of LLMs' hallucination evaluation capabilities in information-seeking dialogues and introduce a specialized judge language model, HalluJudge. The high data quality of HalluDial enables HalluJudge to achieve superior or competitive performance in hallucination evaluation, facilitating the automatic assessment of dialogue-level hallucinations in LLMs and providing valuable insights into this phenomenon. The dataset and the code are available at https://github.com/FlagOpen/HalluDial.

研究动机与目标

• 为解决缺乏同时涵盖事实性与忠实性幻觉的对话级幻觉评估基准的问题。
• 克服现有基准的局限性，例如仅关注句子级或段落级幻觉，而忽视定位与理由生成。
• 通过实现自动化、高质量的幻觉评估，减少对人力密集型或非专业评估者的依赖。
• 为训练和评估对话幻觉检测的专用裁判模型提供全面资源。
• 通过系统的幻觉评估，支持开发更可靠、更可信的基于 LLM 的对话系统。

提出的方法

• 该基准基于一个信息型对话数据集构建，整合了自发性和诱导性幻觉场景。
• 自发性幻觉通过两步流程生成：多样化对话采样，随后使用 LLM 进行自动标注。
• 诱导性幻觉通过向 GPT-4 提供特定任务指令，生成带有明确解释的幻觉回复。
• 每个样本均包含幻觉检测、定位（跨度级别）和理由（自然语言解释），确保可解释性。
• 数据集结构支持多维评估：幻觉的检测、定位与论证。
• 在 HalluDial 上训练了专用裁判模型 HalluJudge，以实现在对话系统中高性能的自动幻觉评估。

实验结果

研究问题

• RQ1 现有幻觉基准在多大程度上未能全面评估对话级幻觉？
• RQ2 当前方法在对话情境中定位幻觉并提供可解释理由的效率如何？
• RQ3 在大规模、多维幻觉基准上训练的专用裁判模型，是否能在幻觉评估中超越通用 LLM？
• RQ4 使用 HalluDial 的自动评估与人工标注基线相比，性能如何？
• RQ5 事实性与忠实性幻觉在对话系统中的表现形式与可检测性有何差异？

主要发现

• HalluDial 包含 4,094 个对话和 146,856 个样本，是目前公开可用的最大规模对话级幻觉评估基准。
• 该基准支持三项关键评估任务：幻觉检测、定位与理由生成，显著提升了可解释性与可靠性。
• 在 HalluDial 上训练的专用裁判模型 HalluJudge，在幻觉评估中表现优于或媲美通用 LLM。
• 诱导性幻觉生成方法能有效生成多样化、高质量的幻觉样本，并附带清晰解释，提升了基准的覆盖范围。
• 该数据集支持一致且可复现的评估，减少了对昂贵人工标注或不一致 API 接口 LLM 评估器的依赖。
• HalluDial 已在 GitHub 上以 CC BY-NC-SA 许可公开发布，支持持续的研究与模型开发。