[論文レビュー] RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models

Cheng Niu, Yuanhao Wu+6 more|arXiv (Cornell University)|Dec 31, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、多様なタスクとモデルをカバーする18,000件のRAG生成出力と、語単位の幻覚ラベルを備えた大規模で手動アノテーション済みコーパス、RAGTruthを紹介する。RAGTruthで小さなLLM（Llama-2-13B）を微調整することで、GPT-4ベースのプロンプト手法と同等の幻覚検出性能を達成でき、選択的サンプリングにより生成出力の幻覚率を顕著に低減できることが示された。

ABSTRACT

Retrieval-augmented generation (RAG) has become a main technique for alleviating hallucinations in large language models (LLMs). Despite the integration of RAG, LLMs may still present unsupported or contradictory claims to the retrieved contents. In order to develop effective hallucination prevention strategies under RAG, it is important to create benchmark datasets that can measure the extent of hallucination. This paper presents RAGTruth, a corpus tailored for analyzing word-level hallucinations in various domains and tasks within the standard RAG frameworks for LLM applications. RAGTruth comprises nearly 18,000 naturally generated responses from diverse LLMs using RAG. These responses have undergone meticulous manual annotations at both the individual cases and word levels, incorporating evaluations of hallucination intensity. We not only benchmark hallucination frequencies across different LLMs, but also critically assess the effectiveness of several existing hallucination detection methodologies. Furthermore, we show that using a high-quality dataset such as RAGTruth, it is possible to finetune a relatively small LLM and achieve a competitive level of performance in hallucination detection when compared to the existing prompt-based approaches using state-of-the-art large language models such as GPT-4.

研究の動機と目的

• 検索拡張生成（RAG）シナリオにおける幻覚を評価するための高品質で大規模なデータセットの不足を解消すること。
• 自然に生成された出力に基づき、多様なLLMをRAG設定下で評価し、幻覚頻度をベンチマークすること。
• RAG文脈における、提示レベルおよび語単位の幻覚検出手法の有効性を評価すること。
• 大規模モデルを用いたプロンプトベース手法を上回る性能を示す、微調整に基づく幻覚検出アプローチの開発と検証すること。
• 微調整された小規模LLMが、幻覚率が inherently 低いモデル（GPT-4など）の出力に対しても、幻覚を効果的に抑制できることを示すこと。

提案手法

• 複数のドメインとタスクをカバーする主要なオープンソースおよびクローズドソースLLMから、約18,000件の自然に生成されたRAG出力を収集した。
• 高品質で細粒度の評価データを確保するため、語単位での幻覚ラベルに加え、強度スコアを含むきめ細やかな手動アノテーションを実施した。
• RAGTruthコーパスを用いて、GPT-4-turboを含む複数の既存の幻覚検出手法のスパンレベル幻覚検出性能をベンチマークした。
• RAGTruthトレーニングデータ上でLlama-2-13Bモデルを微調整し、専用の幻覚検出モデルを構築した。
• 2つのサンプリング戦略を提案・評価した：検出された幻覚スパンが少ない出力を選択する戦略、および検出された幻覚スパンがゼロの出力を選択する戦略。
• ランダム選択、検出器ベース選択、およびベースラインモデルとの比較を通じて、幻覚抑制性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 多様なタスクとドメインにおいて、RAGフレームワーク下で生成される出力において、異なるLLMの幻覚率はどのように変動するか？
• RQ2 GPT-4-turboを含む既存の幻覚検出手法は、RAG生成コンテンツにおける語単位の幻覚をどの程度効果的に同定できるか？
• RQ3 RAGTruthのような高品質な幻覚コーパス上で小さなLLMを微調整することで、GPT-4のような最先端モデルを用いたプロンプトベース手法と同等の検出性能を達成できるか？
• RQ4 微調整された幻覚検出器を用いた応答サンプリング戦略により、LLM出力の幻覚率を効果的に低減できるか？
• RQ5 RAG文脈において、幻覚スパンの種類（顕著なもの vs. ほのかなもの）によって、幻覚の検出可能性はどのように変化するか？

主な発見

• RAGTruthコーパスには、多様なタスクとモデルをカバーするほぼ18,000件の完全にアノテート済みの自然に生成されたRAG出力が含まれており、語単位の幻覚ラベルが詳細に付与されている。
• GPT-4-turboはRAGTruthにおいてスパンレベルのF1スコアがわずか48.4％にとどまり、精度はたったの24％にとどまり、スパンレベルでの幻覚検出において最適でない性能を示している。
• Llama-2-13BをRAGTruthで微調整することで、競争力のあるF1スコア48.4％を達成した。これは、小さなモデルでもプロンプトベースのGPT-4手法と同等の性能を達成できることを示している。
• 微調整済み検出器を用いて2つの出力から選択することで、Llama-2-7B-chatでは幻覚率が56.6％、GPT-4では52.9％低減された。これは、幻覚率が inherently 低いモデルに対しても有効であることを示している。
• 顕著な幻覚の検出は、ほのかな幻覚の検出よりも顕著に効果的であり、ほのかな事実の不一致を同定することが難しいことが明らかになった。
• 検出された幻覚スパンがゼロの出力を選択する戦略が、検出されたスパン数を最小化する戦略を上回った。特に幻覚率が低いモデルにおいて顕著な優位性が見られた。