[論文レビュー] Trapping LLM Hallucinations Using Tagged Context Prompts

Philip Feldman, James R. Foulds+1 more|arXiv (Cornell University)|Jun 9, 2023

Topic Modeling被引用数 13

ひとこと要約

本論文は、LLMの幻覚を検出・削減するためのタグ付きコンテキストプロンプトを提案し、コンテキストプロンプト内にソースタグを埋め込むことで、検証された設定でほぼ完全な幻覚排除（約98.88%）を達成している。

ABSTRACT

Recent advances in large language models (LLMs), such as ChatGPT, have led to highly sophisticated conversation agents. However, these models suffer from "hallucinations," where the model generates false or fabricated information. Addressing this challenge is crucial, particularly with AI-driven platforms being adopted across various sectors. In this paper, we propose a novel method to recognize and flag instances when LLMs perform outside their domain knowledge, and ensuring users receive accurate information. We find that the use of context combined with embedded tags can successfully combat hallucinations within generative language models. To do this, we baseline hallucination frequency in no-context prompt-response pairs using generated URLs as easily-tested indicators of fabricated data. We observed a significant reduction in overall hallucination when context was supplied along with question prompts for tested generative engines. Lastly, we evaluated how placing tags within contexts impacted model responses and were able to eliminate hallucinations in responses with 98.88% effectiveness.

研究の動機と目的

• 実用的なAI導入におけるLLMの幻覚問題を動機づけ、対処する。
• モデルの知識ドメイン外の出力を識別し、それらを潜在的な幻覚としてフラグする方法を開発する。
• コンテキストと埋め込みソースタグが、モデル間でのLLMの応答および幻覚率にどのように影響するかを評価する。

提案手法

• 要約されたWikipedia記事と著者の書籍から得られた文脈プロンプトと組み合わせた多様な質問セットを作成し、文脈効果を検証する。
• コンテキストプロンプト内に固有のソースタグ（source x）を埋め込み、モデルの応答を誘導する。
• 文脈なしプロンプトと文脈豊富なプロンプトの両方で、タグ付きコンテキストを含む複数のGPT系モデルをテストする。
• 結果を構造化JSONで保存し、ユーザー向け出力の生データと整形データを区別するために正規表現を使用する。

実験結果

リサーチクエスチョン

• RQ1 文脈情報を提供することで、異なるモデルにおけるLLM応答の幻覚が減少しますか？
• RQ2 文脈プロンプト内に埋め込まれたソースタグは、提供されたソースへの回答の信頼性を高めますか？
• RQ3 文脈の関連性（適合 vs 不適合）は、幻覚率とソースの使用にどのような影響を与えますか？

主な発見

• 文脈付きプロンプトは幻覚を大幅に減少させ、文脈なし設定のURLが2,445から、文脈有効設定では48へと減少する。
• タグ付きコンテキストは幻覚をほぼ完全に低減し、タグ付きコンテキストで観測されたURL幻覚はわずか2件（約99.88%削減）である。
• ほとんどのタグ付き応答は提供されたソースを参照しており、244のタグ付き応答のうち自動評価で検証できなかったのは1例のみ。
• 不適合な文脈の場合にも、関連性がないにもかかわらず一部の正しいソース参照が現れ、さらなる研究が必要なエッジケースの挙動を示している。