[論文レビュー] Assessing the Reasoning Capabilities of LLMs in the context of Evidence-based Claim Verification

John Dougrez-Lewis, Mahmud Elahi Akhter+4 more|arXiv (Cornell University)|Feb 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本稿では、主張とフェイクニュースの検証を原子的な推論ステップに分解するための新しい論理的推論フレームワークを提案する。GPT-3.5-TurboとGPT-4の評価に、Wikipediaの主張とTwitterのフェイクニュースの2つの手作業でアノテートされたデータセットを用いる。主な発見として、モデルは演繹的推論では優れた性能を示すが、特に現実世界のフェイクニュースにおいて帰納的推論で著しく苦労しており、Chain-of-Thoughtプロンプティングにより、ゼロショットアプローチに比べ説明の質が向上することが判明した。

ABSTRACT

Although LLMs have shown great performance on Mathematics and Coding related reasoning tasks, the reasoning capabilities of LLMs regarding other forms of reasoning are still an open problem. Here, we examine the issue of reasoning from the perspective of claim verification. We propose a framework designed to break down any claim paired with evidence into atomic reasoning types that are necessary for verification. We use this framework to create RECV, the first claim verification benchmark, incorporating real-world claims, to assess the deductive and abductive reasoning capabilities of LLMs. The benchmark comprises of three datasets, covering reasoning problems of increasing complexity. We evaluate three state-of-the-art proprietary LLMs under multiple prompt settings. Our results show that while LLMs can address deductive reasoning problems, they consistently fail in cases of abductive reasoning. Moreover, we observe that enhancing LLMs with rationale generation is not always beneficial. Nonetheless, we find that generated rationales are semantically similar to those provided by humans, especially in deductive reasoning cases.

研究の動機と目的

• 主張とフェイクニュースの検証を原子的で解釈可能な推論ステップに分解する体系的なフレームワークの開発を目的とする。
• 現実世界の複雑なフェイクニュース検証タスクにおけるLLM推論の構造的評価の不足に対処することを目的とする。
• ChatGPTのようなLLMが、拡散する誤情報に不可欠な帰納的推論において信頼性を持って動作するかどうかを調査することを目的とする。
• ゼロショット、ゼロショットChain-of-Thought、および手作業によるChain-of-Thoughtプロンプティングの有効性を比較し、推論品質の向上を検証することを目的とする。
• 高リスクの検証タスクにおけるLLMの限界を実証的根拠で示し、幻想的期待を超えて測定可能な能力を明らかにすることを目的とする。

提案手法

• 主張と証拠を推論経路、モード（演繹的／帰納的）、プロセスに分解する論理的推論フレームワークを提案する。
• Wikipedia（閉世界仮定を伴う主張）とPHEMEデータセット（現実世界のフェイクニュースと開世界の複雑性を伴う）から構成される2つの手作業アノテート済みデータセットを構築する。
• モード別に推論タスクを戦略化する：演繹的（例：数学的、時間的）対比して帰納的（例：因果推論、妥当性推定）。
• ゼロショット（ZS）、ゼロショットChain-of-Thought（ZS CoT）、手作業によるChain-of-Thought（Manual CoT）の3つのプロンプティングパラダイムを用いてGPT-3.5-TurboとGPT-4を評価する。
• 3クラス分類（真、偽、未検証）を用いてモデルのパフォーマンスを評価し、エキスパートがアノテートした推論経路からの正解ラベルを用いる。
• 説明の質を評価するための定性的分析を実施し、とくにモデルの正当性が重要な帰納的ケースにおいて推論の質を評価する。

Figure 1: Resolution of a multi-hop compound reasoning type rumour using our proposed framework. We apply two sets of mutually exclusive labels: { Abductive , Deductive , Inductive } and { Causal , Mathematical }.

実験結果

リサーチクエスチョン

• RQ1 主張とフェイクニュースの検証を原子的かつ解釈可能な推論ステップに分解する体系的な論理的推論フレームワークを設計できるか？
• RQ2 GPT-3.5-TurboやGPT-4といったLLMは、単純な事実的主張と比較して、現実世界のフェイクニュースの検証においてどの程度の性能を示すか？
• RQ3 ゼロショット推論に比べ、Chain-of-Thoughtプロンプティングは帰納的検証タスクにおける推論の質と正確性を向上させるか？
• RQ4 証拠が曖昧または不完全な状況において、LLMは帰納的推論でヒューリスティックや誤った相関関係に過度に依存しているとされるか？
• RQ5 検証タスクにおけるLLMの推論プロセスは人間の推論に類似しているか、それともClever Hans行動のような体系的な欠陥を示しているか？

主な発見

• GPT-4は手作業によるChain-of-Thought（Manual CoT）条件下でWikipediaベースのデータセットで97.4％の正確性を達成したが、PHEMEベースのフェイクニュースデータセットでは52.6％に低下し、現実世界の複雑さに起因する顕著な性能低下が示された。
• 帰納的推論タスクにおいて、GPT-4はゼロショットプロンプティングで33.3％の正確性を示し、ゼロショットChain-of-Thoughtに改善して44.4％に上昇したが、複雑で複数の要素を含むフェイクニュースでは依然として性能が低い。
• 手作業によるChain-of-Thoughtは、ゼロショットやゼロショットChain-of-Thoughtに比べ、特に帰納的ケースにおいてより高品質な説明を生み出し、推論チェーンがより一貫性があり論理的に根拠のあるものとなった。
• GPT-3.5-Turboも同様の傾向を示し、演繹的タスクでは76.7％の正確性を示したが、ゼロショット条件下で帰納的タスクでは33.3％にとどまり、非演繹的推論処理に対する根本的な限界が示された。
• 証拠が強くない状況では、妥当に聞こえるが根拠のない推論に過度に依存し、未検証の主張を真または偽に誤分類する傾向が顕著に見られた。
• Chain-of-Thoughtプロンプティングでさえ、帰納的主張の正しい推論経路を一貫して生成できないことが判明し、現行のLLMは人間の帰納的推論を正確に再現しておらず、代わりにパターンに基づくヒューリスティックに依存していることが示唆された。