[論文レビュー] Ever: Mitigating Hallucination in Large Language Models through Real-Time Verification and Rectification

Haoqiang Kang, Juntong Ni+1 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 5

ひとこと要約

Everは、段階的テキスト生成中に大規模言語モデルの内在的および外在的幻覚を検出し、修正するリアルタイムの検証および是正フレームワークであり、誤りの累積を顕著に低減する。概念レベルの検証と反復的是正を統合することで、短形QA、伝記生成、マルチホップ推論タスクのあらゆる分野で事実性が向上し、微小なランタイムオーバーヘッドで、リtrievalベースおよび非リtrievalベースのベースラインを上回る性能を発揮する。

ABSTRACT

Large Language Models (LLMs) have demonstrated remarkable proficiency in generating fluent text. However, they often encounter the challenge of generating inaccurate or hallucinated content. This issue is common in both non-retrieval-based generation and retrieval-augmented generation approaches, and existing post-hoc rectification methods may not address the accumulated hallucination errors that may be caused by the "snowballing" issue, especially in reasoning tasks. To tackle these challenges, we introduce a novel approach called Real-time Verification and Rectification (Ever). Instead of waiting until the end of the generation process to rectify hallucinations, Ever employs a real-time, step-wise generation and hallucination rectification strategy. The primary objective is to detect and rectify hallucinations as they occur during the text generation process. When compared to both retrieval-based and non-retrieval-based baselines, Ever demonstrates a significant improvement in generating trustworthy and factually accurate text across a diverse range of tasks, including short-form QA, biography generation, and multi-hop reasoning.

研究の動機と目的

• 大規模言語モデルにおける幻覚という持続的問題、特に初期の誤りが逐次的生成の過程で拡大する『雪だるま効果』を解決すること。
• 生成過程で内在的幻覚（参照内容と矛盾するもの）および外在的幻覚（検証不能または捏造された主張）を低減すること。
• 最終出力が生成される前に誤りの蓄積を防ぐために、リアルタイムで段階的に行われる検証および是正メカニズムを構築すること。
• 残存する外在的幻覚をユーザー警告として特定することで、LLM出力の信頼性を向上させること。
• モデルの微調整を必要とせず、既存のリtrieval増強生成（RAG）パイプラインと互換性を持つこと。

提案手法

• Everは生成、検証、是正の3段階パイプラインを採用し、生成過程で文単位に反復的に適用する。
• 検証段階では、モデルが各文の概念レベルの正確性をチェックし、few-shotまたはzero-shotプロンプティングを用いて内在的幻覚と外在的幻覚を区別する。
• 是正段階では、検出された誤りを幻覚の種別に応じて是正し、修正された文は再検証して正確性を保証する。
• フレームワークは非リtrievalおよびリtrieval増強生成の両方をサポートし、利用可能な外部知識を統合する。
• 持続的な外在的幻覚はユーザー警告として特定され、出力の信頼性が向上する。
• 簡素化され、並列処理可能なプロンプトを用いることで、計算オーバーヘッドを最小限に抑え、ベースラインのリtrieval手法と同等の効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの検証と是正は、事後または事前処理手法と比較して、大規模言語モデルにおける幻覚をより効果的に低減できるか？
• RQ2 Everは、逐次的推論および長文生成における幻覚の『雪だるま効果』をどのように是正するか？
• RQ3 Everは、短形QA、伝記生成、マルチホップ推論といった多様なタスクにおいて、事実の一貫性をどの程度向上できるか？
• RQ4 Factualityおよびランタイムの観点から、Everの性能は最先端のリtrievalベースおよび非リtrievalベースのベースラインと比較してどうなるか？
• RQ5 Everは、モデルの微調整を必要とせず、既存のRAGフレームワークと効果的に統合できるか？

主な発見

• Everは、短形QA、長文伝記生成、マルチホップ推論を含む、すべての評価タスクで幻覚を顕著に低減し、リtrievalベースおよび非リtrievalベースの両方のベースラインを上回る。
• Everのバリエーション（例：RAG+ER）のランタイムはベースラインと同等であり、GPT-3.5 Turboを用いた場合、伝記生成で平均115.4秒、HotpotQAで62.8秒の推論時間であった。
• Ever (nrg+er)バリエーションは、伝記生成で平均141.8秒の推論時間を記録したが、リアルタイムの検証と是正を実施しているにもかかわらず、効率性を維持していることが示された。
• 伝記生成タスクにおいて、Everは誤分類例を11％まで低減し、強力な事実の一貫性を示した。
• フレームワークは各段階で誤りを検出し是正することで『雪だるま効果』を効果的に是正し、累積的な誤りの伝搬を防いでいる。
• 持続的な外在的幻覚に対してユーザーが警告を受けることで、検証不能な主張に注意を向けることができ、信頼性が向上する。