[論文レビュー] Large Language Models Help Humans Verify Truthfulness -- Except When They Are Convincingly Wrong

Chenglei Si, Navita Goyal+5 more|arXiv (Cornell University)|Oct 19, 2023

Topic Modeling被引用数 6

ひとこと要約

本研究では、専門外のユーザーを対象に、大規模言語モデル（LLMs）が事実確認の支援として果たす役割を評価し、LLMが出力する説明が検索エンジンと同等の正確性を維持しながらも、検証を著しく迅速化することを明らかにした。しかし、ユーザーは誤った説明に過剰に依存する傾向にあり、特に自信を持って誤った説明に従うことがある。対照的説明（真と偽の両方の推論を提示）は過剰な依存を軽減するが、検索のみに比べて正確性が向上しない。

ABSTRACT

Large Language Models (LLMs) are increasingly used for accessing information on the web. Their truthfulness and factuality are thus of great interest. To help users make the right decisions about the information they get, LLMs should not only provide information but also help users fact-check it. Our experiments with 80 crowdworkers compare language models with search engines (information retrieval systems) at facilitating fact-checking. We prompt LLMs to validate a given claim and provide corresponding explanations. Users reading LLM explanations are significantly more efficient than those using search engines while achieving similar accuracy. However, they over-rely on the LLMs when the explanation is wrong. To reduce over-reliance on LLMs, we ask LLMs to provide contrastive information - explain both why the claim is true and false, and then we present both sides of the explanation to users. This contrastive explanation mitigates users' over-reliance on LLMs, but cannot significantly outperform search engines. Further, showing both search engine results and LLM explanations offers no complementary benefits compared to search engines alone. Taken together, our study highlights that natural language explanations by LLMs may not be a reliable replacement for reading the retrieved passages, especially in high-stakes settings where over-relying on wrong AI explanations could lead to critical consequences.

研究の動機と目的

• LLMが生成する自然言語の説明が、検索エンジンによる検索に比べて人間の事実確認パフォーマンスを向上させるかどうかを評価すること。
• ユーザーが事実的に誤りであるにもかかわらず、LLMの説明を過剰に信頼する理由を調査すること。
• 両方の主張（支持と反論）を提示する対照的説明が、誤ったLLM出力への過剰な依存を軽減するかを検証すること。
• 検索と説明を組み合わせることで、正確性と効率性の面で相乗効果が得られるかを評価すること。
• 人間とAIが協働して事実確認を行うワークフローにおいて、LLMを効果的に使用する方法とタイミングについて実用的指針を提供すること。

提案手法

• 80名のクラウドワーカーを対象に、4つの条件（検索のみ、説明のみ、対照的説明、検索＋説明）を比較する人間被験を実施。
• FoolMeTwiceデータセットの主張と、事実の根拠としてのGoldスタンダードWikipedia証拠を用いて、事実に基づいた評価を保証。
• GPT-3.5-turboを用いて、主張の妥当性を検証し、推論を含めた説明を生成するプロンプトを実装。
• 対照的説明を実現するため、LLMに各主張について支持と反論の両方の議論を生成するようプロンプトを設定。
• 人間の正確性、タスクに要した時間、および推論戦略（自己矛盾の検出、取得した本文、個人の知識への依存など）を測定。
• 正しくもしくは誤った判断に至る背後にある意思決定パターンを分析し、エラーの原因を同定。

Figure 1 . An example of the claim to be verified and the corresponding ChatGPT explanation, retrieved passages (abridged), and contrastive explanation. Note that the claim is true and the refuting explanation contains factual errors and reasoning contradiction.

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する説明を用いることで、検索エンジンによる検索のみに比べて、人間の事実確認の正確性が向上するか？
• RQ2 LLMの説明が事実的に誤りであるが、説得力がある場合、ユーザーはどのように反応するか？
• RQ3 両方の推論（真と偽）を提示する対照的説明は、誤ったLLM出力への過剰な依存を軽減できるか？
• RQ4 検索と説明を組み合わせることで、単体の方法よりも正確性や効率性が向上するか？
• RQ5 ユーザーが主張を判断する際に主に用いる推論戦略は何か？ また、それらの戦略は正確性とどのように相関するか？

主な発見

• LLMの説明を読んだ場合、ユーザーは検索エンジンの結果を用いた場合に比べて、2.5倍速く主張を検証した（1.01分/主張 vs. 2.53分/主張）、正確性は同等（74% vs. 73%）。
• LLMの説明が誤りであった場合、ユーザーは80%の確率でそれらに過剰に依存し、AI支援なしのベースライン（59%）よりも正確性が低下した。
• 対照的説明は誤ったLLM出力への過剰な依存を軽減したが、検索のみに比べて人間の事実確認の正確性は有意に向上しなかった。
• 検索と説明を組み合わせても、正確性やスピードの面で相乗効果は得られず、検索のみと同等のパフォーマンスにとどまった。
• 説明条件では、40.7%の正しい判断がLLMの説明内の自己矛盾の検出に基づいており、ユーザーが誤った推論を検出できる場合があることが示された。
• 検索＋説明条件では、63.5%の正しい判断が取得した本文からの情報に依存しており、LLMが生成する物語よりも、直接的な証拠がより信頼できることが示された。

Figure 2 . Interface for the contrastive explanation condition. We present ChatGPT’s explanations for both sides together to encourage more careful thinking. We also highlight all the keywords to ease reading.