[論文レビュー] LM vs LM: Detecting Factual Errors via Cross Examination

Roi Cohen, May Hamri+2 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、1つの言語モデル（検査者）が、別の言語モデル（検査対象）に対して複数回の質問を投げることで、その主張の不整合を暴くことにより、事実性の検出を行うゼロショット手法であるLMvLMを提案する。この手法は、複数の言語モデルおよびベンチマークにおいて、70％を超える事実誤認の検出率と80％を超える精度を達成しており、強力なベースラインを大きく上回る性能を示している。

ABSTRACT

A prominent weakness of modern language models (LMs) is their tendency to generate factually incorrect text, which hinders their usability. A natural question is whether such factual errors can be detected automatically. Inspired by truth-seeking mechanisms in law, we propose a factuality evaluation framework for LMs that is based on cross-examination. Our key idea is that an incorrect claim is likely to result in inconsistency with other claims that the model generates. To discover such inconsistencies, we facilitate a multi-turn interaction between the LM that generated the claim and another LM (acting as an examiner) which introduces questions to discover inconsistencies. We empirically evaluate our method on factual claims made by multiple recent LMs on four benchmarks, finding that it outperforms existing methods and baselines, often by a large gap. Our results demonstrate the potential of using interacting LMs for capturing factual errors.

研究の動機と目的

• 現代の言語モデルにおける事実の虚構（ホールーシュレーション）という信頼性と利用可能性を損なう深刻な問題に対処すること。
• 外部知識やファインチューニングに依存せずに、ゼロショットかつインタラクティブな事実誤認検出手法を開発すること。
• 言語モデル同士の複数回のやり取りによる自己一貫性のチェックが、事実誤認を効果的に暴露できるかどうかを検討すること。
• このアプローチの有効性を、多様な言語モデルおよび事実に関する質疑応答ベンチマークで評価すること。
• 検証者言語モデルが検証の過程で採用する戦略を分析すること。

提案手法

• 本手法は2つの言語モデルを用いる：1つ（検査対象）が主張を生成し、もう1つ（検査者）が複数回のやり取りによる検証を実施して不整合を検出する。
• 検査者は、主張の真偽を検証するための質問を生成するようプロンプトされる。その質問には、意味の再表現、帰結の検証、分解、根拠の要請が含まれる。
• やり取りは3段階に分かれる：準備段階、質問段階、結論段階。各プロンプトには、直前のやり取りの文脈が含まれる。
• 検査者は検査対象の回答を評価し、元の主張が事実的に正しいかどうかを最終的な判断を下す。
• 同じまたは異なる言語モデルに別々の役割を割り当てることで、プロンプト工学を用いてゼロショット設定で実装される。
• 本手法は、事実的に誤った主張は吟味を受けると内部の矛盾が生じることを仮定している。

Figure 1: An example of our LMvLM approach. The first line shows the statement made by the Examinee LLM. Then an interaction between the Examiner and Examinee takes place, and the Examiner arrives at a conclusion whether the original statement was correct or not (here it concludes that it was a fals

実験結果

リサーチクエスチョン

• RQ1 言語モデルが、複数回の質問を投げることで、他の言語モデルの主張における事実誤認を効果的に検出できるか？
• RQ2 検査者言語モデルは、検査対象の回答の不整合を暴くために、どのような種類の質問戦略を採用するか？
• RQ3 LMvLMの性能は、複数の言語モデルおよびベンチマークにおいて、既存の事実性検出ベースラインと比較してどうなるか？
• RQ4 論理的不整合（再表現された質問に対する矛盾する回答）は、事実誤認をどの程度効果的に示唆するか？
• RQ5 なぜ本手法は一部の言語モデル（例：ChatGPT）では高い性能を示すが、他のモデル（例：GPT-3）では低いのか。推論能力が果たす役割は何か？

主な発見

• LMvLMは、複数のベンチマークにおいて70％を超える事実誤認を検出しつつ、80％を超える精度を維持しており、強力なベースラインを大きく上回る。
• ファインチューニングや外部知識を一切使用しないゼロショット設定でも、高い検出性能を達成している。
• 検査者言語モデルは、論理的分解（ChatGPTの場合75％のケースで使用）、帰結の検証（ChatGPTの場合正解検出の87.5％で使用）、質問の再表現といった戦略を頻繁に用いる。
• 検査対象が正しい場合でも14％のケースで再表現された質問に対する矛盾する回答が見られるが、主張が誤っており検出された場合では50％以上に上昇する。
• 失敗事例の多くは、検査対象が互いに一貫性のある誤った事実の集合を生成し、不整合が検出されにくくなることに起因する。
• ChatGPTは、検証の過程で論理的分解や検証戦略をGPT-3よりも多く使用しているため、性能が優れている。

Figure 2: The three-stage process of cross-examination between the Examiner and Examinee , where the factuality of a claim $C$ generated by Examinee is estimated by Examiner .