[論文レビュー] Retrieving Supporting Evidence for LLMs Generated Answers

Siqing Huo, Negar Arabzadeh+1 more|arXiv (Cornell University)|Jun 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、元の質問とLLMが生成した回答を組み合わせたクエリを用いてコーパスから支援証拠を検索することで、LLMが出力する回答の自己検証を行う単純な手法を提案する。LLMは生成された回答と取得された本文の整合性を評価し、幻覚を検出する精度が約70–80％に達する。これは有望ではあるが、完全な幻覚検出には限界があることを示している。

ABSTRACT

Current large language models (LLMs) can exhibit near-human levels of performance on many natural language tasks, including open-domain question answering. Unfortunately, they also convincingly hallucinate incorrect answers, so that responses to questions must be verified against external sources before they can be accepted at face value. In this paper, we report a simple experiment to automatically verify generated answers against a corpus. After presenting a question to an LLM and receiving a generated answer, we query the corpus with the combination of the question + generated answer. We then present the LLM with the combination of the question + generated answer + retrieved answer, prompting it to indicate if the generated answer can be supported by the retrieved answer. We base our experiment on questions and passages from the MS MARCO (V1) test collection, exploring three retrieval approaches ranging from standard BM25 to a full question answering stack, including a reader based on the LLM. For a large fraction of questions, we find that an LLM is capable of verifying its generated answer if appropriate supporting material is provided. However, with an accuracy of 70-80%, this approach cannot be fully relied upon to detect hallucinations.

研究の動機と目的

• LLMが外部の証拠と照合することで、自身の回答の幻覚を自己検出できるかどうかを調査すること。
• BM25からニューラルQAスタックまで、さまざまなリトリーブ手法（BM25からニューラルQAスタックまで）がLLMベースの幻覚検出をどの程度支援できるかを評価すること。
• 取得した本文から要約された回答を抽出するリーダーモデルを用いることで、検証精度が向上するかどうかを評価すること。
• 幻覚検出パイプラインにおけるリトリーブ効果と計算効率のトレードオフを特定すること。
• 本アプローチの限界、特に訓練データからの潜在的なデータ漏洩や数値的回答の処理における課題を検討すること。

提案手法

• 与えられた質問に対してLLMに回答を生成させるようプロンプトし、厳密さを保証するため専門家としての役割を果たすよう指示する。
• 元の質問とLLMが生成した回答を連結して、組み合わせクエリを構築する。
• BM25やリーダーを含むニューラルリトリーブスタックを含む、複数のリトリーブ手法を用いてMS MARCOパラグラフコーパスから関連する本文を検索する。
• LLMに元の質問、自身が生成した回答、および取得された本文を提示し、整合性を判断させる。
• ゼロショットプロンプティング戦略を用いて、LLMが自身の回答が取得された証拠によって支持されているかどうかを判断できるかを評価する。
• 人間によるアノテーションラベルを用いて幻覚検出の性能を評価し、予測結果と正解を比較する。

実験結果

リサーチクエスチョン

• RQ1 外部コーパスから支援証拠を検索した場合、LLMは幻覚を信頼性を持って自己検出できるか？
• RQ2 リトリーブ手法の選択（例：BM25対ニューラルリーダーに基づくリトリーブ）が、幻覚検出の精度にどのように影響するか？
• RQ3 取得した本文から要約された回答を抽出するリーダーモデルを用いることで、LLMの自身の回答の検証能力が向上するか？
• RQ4 クエリ構成、特に質問＋回答の組み合わせクエリが、リトリーブの関連性および下流の検証に与える影響は何か？
• RQ5 モデル固有の行動、例えば数値的回答の処理の難しさなど、自己検証アプローチの信頼性を制限する要因はどれくらいの程度か？

主な発見

• LLMは全体として幻覚検出精度が約70–80％に達した。これは、この手法が有望ではあるが、すべての幻覚を検出できるとは限らないことを示している。
• リーダー部を含むニューラルリトリーブ手法は、BM25単体よりも一貫して質の高い回答を生成し、検証精度を向上させた。
• 改善は見られたが、リーダーを含むリトリーブスタックは約80％のケースで予測ラベルを変更しなかったため、高精度な応用においては限界的な利点にとどまった。
• 数値的回答の処理に特に困難を示し、定量的幻覚の処理における主要な制限要因であることが判明した。
• 単純なBM25リトリーブでも妥当な性能を示したため、計算コストが低い手法がこのタスクにおいても有効である可能性がある。
• 本アプローチは潜在的なデータ漏洩に敏感であり、MS MARCOコーパスがLLMの訓練データに含まれていた可能性があるため、最良状況下では結果が誇張されている可能性がある。