[論文レビュー] RELIC: Investigating Large Language Model Responses using Self-Consistency

Furui Cheng, Vilém Zouhar+4 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文では、同一プロンプトの複数回生成における自己一貫性を測定することで、大規模言語モデル（LLM）出力の信頼性を向上させるインタラクティブシステムRELICを提案する。応答を原子的主張に分解し、自然言語推論を用いて複数サンプル間の一貫性を評価することで、RELICは視覚化された矛盾と支援証拠を通じてユーザーが幻覚を検出できるようにし、ユーザースタディーにおいて事実検証の質を顕著に向上させる。

ABSTRACT

Large Language Models (LLMs) are notorious for blending fact with fiction and generating non-factual content, known as hallucinations. To address this challenge, we propose an interactive system that helps users gain insight into the reliability of the generated text. Our approach is based on the idea that the self-consistency of multiple samples generated by the same LLM relates to its confidence in individual claims in the generated texts. Using this idea, we design RELIC, an interactive system that enables users to investigate and verify semantic-level variations in multiple long-form responses. This allows users to recognize potentially inaccurate information in the generated text and make necessary corrections. From a user study with ten participants, we demonstrate that our approach helps users better verify the reliability of the generated text. We further summarize the design implications and lessons learned from this research for future studies of reliable human-LLM interactions.

研究の動機と目的

• LLM出力において、なめらかではあるが事実的に誤りな内容を生成するという深刻な幻覚問題に対処すること。
• 複数回生成された出力間の意味的一貫性を測定することで、ユーザーがLLM出力の信頼性を評価できるインタラクティブシステムを設計すること。
• 証拠に基づく主張レベルの一貫性分析を通じて、ユーザーが誤った主張を特定・是正できるように支援すること。
• ユーザーがLLM出力の自己一貫性を可視化・操作するニーズを調査し、信頼性と意思決定の質を向上させること。
• 事実に基づいたLLM生成に焦点を当てた将来の人間-AIインタラクションシステムにおける設計指針を提供すること。

提案手法

• 自然言語処理を用いて長文のLLM出力を原子的主張に分解し、個々の事実的主張を隔離する。
• 事前に学習された自然言語推論（NLI）モデルを用い、各原子的主張が同じプロンプトの複数回生成において、支持されるか、矛盾するか、あるいは中立的かを評価する。
• 各主張について、支持または矛盾する応答の割合に基づき自己一貫性スコアを計算し、モデルの信頼度の代理指標とする。
• 質問応答ベースのパイプラインを統合し、他の応答サンプルから支援文や矛盾文をインタラクティブに取得可能にする。
• 色分けされたインジケータで主張レベルの一貫性を可視化し、ユーザーが文脈に沿った証拠を探索できるようにし、現地での検証を支援する。
• 図2に示す計算パイプライン（主張抽出 → NLI推論 → 証拠取得）をチェーンすることで、リアルタイムかつインタラクティブな事実検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存のインターフェースにおいて、ユーザーはLLM生成テキストの信頼性をどのように認識・評価しているか？
• RQ2 複数のLLM応答間の自己一貫性を伝えるために、最も効果的な視覚的およびインタラクティブな提示方法は何か？
• RQ3 主張レベルでの自己一貫性検出は、長文テキスト内の幻覚的または一貫性のない情報をユーザーが特定するのを支援できるか？
• RQ4 複数の応答からインタラクティブに証拠を取得することで、ユーザーの事実的主張の検証能力はどのように向上するか？
• RQ5 自己一貫性を可視化するシステムとユーザーが相互作用する過程から、どのような設計原則が浮かび上がるか？

主な発見

• 研究に参加したユーザーは、RELICの視覚化された主張レベルの一貫性と証拠取得機能が、幻覚的コンテンツの検出および是正能力を顕著に向上させたと報告した。
• 参加者は、二値の真偽ラベルや信頼度スコアよりも、特定の文が主張を支持または矛盾していることを視覚的に確認できる証拠に基づく検証を好んだ。
• システムにより、人物の職業に関する矛盾する事実（例：医師 vs. 研究者）が複数の応答間で明らかになり、なめらかな表現によって隠されていたものが露呈された。
• ユーザーは、個々の主張とその支援・矛盾証拠を検査できる機能が、LLM出力に対する信頼を構築するために不可欠であると感じた。
• 予備調査から、ユーザーは応答全体の一貫性に関する要約情報（要約的で簡潔なもの）と、細かくインタラクティブに探査可能な機能の両方が必要であることが明らかになった。
• 自己一貫性アプローチは、個々の応答がなめらかで妥当に見えても、一貫性の欠如を浮き彫りにでき、非事実的コンテンツを検出する価値があることが実証された。