[论文解读] Lynx: An Open Source Hallucination Evaluation Model

S. Ravi, Bartosz Mielczarek+3 more|arXiv (Cornell University)|Jul 11, 2024

Psychedelics and Drug Studies被引用 4

一句话总结

Lynx 是一个开源的、最先进的幻觉检测模型，通过在多样化的真实世界 RAG 场景中微调，能够识别出不符合事实的 LLM 输出。它在 HaluBench 上的表现优于 GPT-4o、Claude-3-Sonnet 及其他封闭源或开源模型，该 HaluBench 是一个涵盖金融、医学等领域的 15,000 个样本的新基准，其幻觉检测准确率达到 87.4%。

ABSTRACT

Retrieval Augmented Generation (RAG) techniques aim to mitigate hallucinations in Large Language Models (LLMs). However, LLMs can still produce information that is unsupported or contradictory to the retrieved contexts. We introduce LYNX, a SOTA hallucination detection LLM that is capable of advanced reasoning on challenging real-world hallucination scenarios. To evaluate LYNX, we present HaluBench, a comprehensive hallucination evaluation benchmark, consisting of 15k samples sourced from various real-world domains. Our experiment results show that LYNX outperforms GPT-4o, Claude-3-Sonnet, and closed and open-source LLM-as-a-judge models on HaluBench. We release LYNX, HaluBench and our evaluation code for public access.

研究动机与目标

• 为解决检索增强生成（RAG）系统中幻觉问题，即 LLM 尽管有检索到的上下文，仍会生成缺乏事实依据或自相矛盾的输出。
• 克服现有 LLM 作为裁判模型的局限性，这些模型通常缺乏透明度、为闭源，或在细微幻觉检测方面表现不佳。
• 开发一种高精度、开源的幻觉检测模型，其性能可与 GPT-4o 和 Claude-3-Sonnet 等闭源模型比肩或超越。
• 创建一个全面、多样化且基于真实世界的基准——HaluBench，用于在无参考答案的设置下评估幻觉检测。
• 实现在生产环境中可复现、低成本且可扩展地评估 RAG 系统输出，特别是在金融和医疗等高风险领域。

提出的方法

• 在来自真实世界领域的扰动问答样本精选数据集上微调 Llama-3-70B-Instruct，重点通过语义扰动检测难以察觉的幻觉。
• 通过向 LLM 生成的答案中引入细微的语义变化，生成具有挑战性的幻觉样本，从而产生看似合理但事实不一致的回应。
• 构建 HaluBench，一个包含 15,000 个样本的基准，其上下文-问题-答案三元组均标注了忠实度，涵盖医学、金融和通用知识等多个领域。
• 采用无参考答案的评估协议，模型仅根据上下文和问题判断忠实度，无需真实答案作为参考。
• 训练两种变体：Lynx（70B）用于高精度，Lynx（8B）用于效率和低成本推理。
• 使用人工标注的忠实度标签评估性能，并与 GPT-4o、Claude-3-Sonnet 及其他 LLM 作为裁判的基线模型进行比较。

实验结果

研究问题

• RQ1 一个开源的 LLM 作为裁判模型是否能在真实世界的 RAG 任务中，于幻觉检测方面超越 GPT-4o 和 Claude-3-Sonnet 等闭源模型？
• RQ2 微调后的 Llama-3 模型在检测语义上看似合理但事实不一致的细微、难检测幻觉方面有多有效？
• RQ3 与现有数据集相比，HaluBench 作为一个多样化且基于真实世界的基准，在提升幻觉评估的可靠性与泛化能力方面有多大改善？
• RQ4 在医学和金融等专业领域，开源与闭源 LLM 在幻觉检测方面存在多大的性能差距？
• RQ5 轻量级的 8B 模型变体（Lynx-8B）是否能在显著降低推理成本的同时，保持高忠实度检测准确率？

主要发现

• Lynx（70B）在 HaluBench 上达到 87.4% 的准确率，优于 GPT-4o 和 Claude-3-Sonnet，展示了在无参考设置下的最先进幻觉检测性能。
• Lynx（70B）在 PubMedQA 医疗问答任务中，幻觉检测准确率比 GPT-4o 高出 8.3%，凸显其在专业领域中的优势。
• Lynx（8B）以极小的模型规模和成本实现了高性能，使其适用于在生产环境中大规模、低成本部署 RAG 系统。
• 微调后的 Llama-3-70B 模型相比基础模型平均准确率提升 7.8%，表明基于领域特定和扰动的微调带来了显著收益。
• Lynx（70B）在所有任务上的平均准确率比 GPT-3.5-Turbo 高出 27.6%，显著缩小了开源与闭源模型在幻觉检测方面的性能差距。
• HaluBench 与人工标注高度一致，且包含忠实与幻觉样本的均衡、真实世界分布，使其成为未来评估的可靠基准。