[论文解读] Ever: Mitigating Hallucination in Large Language Models through Real-Time Verification and Rectification

Haoqiang Kang, Juntong Ni+1 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 5

一句话总结

Ever 是一个实时验证与修正框架，可在逐步生成文本的过程中检测并纠正大语言模型中的内在幻觉和外在幻觉，显著减少错误传播。通过整合概念级验证与迭代修正，该框架在短文本问答、人物传记生成和多跳推理任务中显著提升了事实准确性，相较于基于检索与非基于检索的基线方法表现更优，且运行时开销极低。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable proficiency in generating fluent text. However, they often encounter the challenge of generating inaccurate or hallucinated content. This issue is common in both non-retrieval-based generation and retrieval-augmented generation approaches, and existing post-hoc rectification methods may not address the accumulated hallucination errors that may be caused by the "snowballing" issue, especially in reasoning tasks. To tackle these challenges, we introduce a novel approach called Real-time Verification and Rectification (Ever). Instead of waiting until the end of the generation process to rectify hallucinations, Ever employs a real-time, step-wise generation and hallucination rectification strategy. The primary objective is to detect and rectify hallucinations as they occur during the text generation process. When compared to both retrieval-based and non-retrieval-based baselines, Ever demonstrates a significant improvement in generating trustworthy and factually accurate text across a diverse range of tasks, including short-form QA, biography generation, and multi-hop reasoning.

研究动机与目标

• 为解决大语言模型中持续存在的幻觉问题，特别是初始错误在序列生成中不断累积的‘雪球效应’。
• 在文本生成过程中，减少内在幻觉（与参考内容矛盾）和外在幻觉（无法验证或虚构的陈述）。
• 开发一种实时、逐句验证与修正机制，防止错误在最终输出前累积。
• 通过向用户发出警告来标记残留的外在幻觉，提升大语言模型输出的可信度。
• 确保与现有检索增强生成（RAG）流程兼容，无需模型微调。

提出的方法

• Ever 采用三阶段流水线：生成、验证与修正，每句话在生成过程中迭代应用。
• 在验证阶段，模型对每句话进行概念级准确性检查，通过 few-shot 或 zero-shot 提示区分内在与外在幻觉。
• 在修正阶段，根据幻觉类型对检测到的错误进行修正，修订后的句子会重新验证以确保准确性。
• 该框架支持非检索与检索增强生成，可在有外部知识时集成。
• 对持续存在的外在幻觉，通过用户警告进行标记，以提升输出可信度。
• 通过简化且可并行化的提示设计，保持高效性，计算开销极低，与基线检索方法相当。

实验结果

研究问题

• RQ1 与事后或生成前的方法相比，实时验证与修正是否能更有效地减少大语言模型中的幻觉？
• RQ2 Ever 如何缓解在序列推理与长文本生成中幻觉的‘雪球效应’？
• RQ3 Ever 在短文本问答、人物传记生成与多跳推理等多样化任务中，能在多大程度上提升事实一致性？
• RQ4 在事实准确性与运行时性能方面，Ever 与当前最先进的基于检索与非基于检索的基线方法相比表现如何？
• RQ5 Ever 是否能有效集成到现有 RAG 框架中，且无需模型微调？

主要发现

• Ever 在所有评估任务中显著减少了幻觉，包括短文本问答、长文本传记生成与多跳推理，优于基于检索与非基于检索的基线方法。
• Ever 变体（如 RAG+ER）的运行时间与基线相当，使用 GPT-3.5 Turbo 时，传记生成任务平均推理时间为 115.4 秒，HotpotQA 任务为 62.8 秒。
• Ever (nrg+er) 变体在传记生成任务中平均运行时间为 141.8 秒，尽管进行了实时验证与修正，仍表现出高效性。
• 在传记生成任务中，Ever 将误分类样本减少至 11%，显示出极强的事实一致性。
• 通过在每一步捕捉并修正错误，该框架有效缓解了‘雪球效应’，防止错误累积传播。
• 对持续存在的外在幻觉发出用户警告，可提醒用户注意可能无法验证的陈述，从而增强输出可信度。