[論文レビュー] Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method

Xuan Zhang, Wei Gao|arXiv (Cornell University)|Sep 30, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、複雑なニュース主張を部分的主張に分解し、外部検索を統合した段階的推論により、LLMを用いた事実検証を向上させるための階層的ステップバイステップ（HiSS）プロンプト手法を提案する。RAWFCおよびLIARデータセット上で評価した結果、完全に教師ありの最先端モデルをmacro F1で4.95%上回り、既存のベースラインと比較してより正確で読みやすく包括的な説明を生成した。

ABSTRACT

While large pre-trained language models (LLMs) have shown their impressive capabilities in various NLP tasks, they are still under-explored in the misinformation domain. In this paper, we examine LLMs with in-context learning (ICL) for news claim verification, and find that only with 4-shot demonstration examples, the performance of several prompting methods can be comparable with previous supervised models. To further boost performance, we introduce a Hierarchical Step-by-Step (HiSS) prompting method which directs LLMs to separate a claim into several subclaims and then verify each of them via multiple questions-answering steps progressively. Experiment results on two public misinformation datasets show that HiSS prompting outperforms state-of-the-art fully-supervised approach and strong few-shot ICL-enabled baselines.

研究の動機と目的

• 大規模言語モデル（LLMs）を用いたニュース主張検証におけるコンテキスト内学習（ICL）の有効性を調査すること。
• 誤情報の文脈において、バニラチェーン・オブ・スケッチ（CoT）プロンプトの主な限界（思考の省略や事実の捏造）を解決すること。
• LLMを用いて部分的で細かく段階的な主張検証を可能にする階層的プロンプトフレームワークを設計すること。
• 構造化された推論と外部証拠の取得を通じて、LLMベースの事実検証の正確性と説明可能性を向上させること。

提案手法

• HiSSプロンプト手法は2段階からなる：主張の分解と部分的主張の検証。
• 主張の分解段階では、LLMに複雑な主張を論理的に独立した小さな部分的主張に分割するようプロンプトを提示する。
• 各部分的主張に対して、LLMはチェーン・オブ・スケッチの推論プロセスを用いて段階的検証を実行する。
• 推論の根拠を強化し、捏造を低減するために、検索エンジンを介して外部証拠を取得する。
• 微調整を行わず、4つのデモンストレーション例を用いたfew-shotのコンテキスト内学習を用いる。
• 生成された推論チェーンの品質と一貫性を評価するために、人間がアノテートした説明を用いる。

Figure 1: An example of claim verification based on vanilla CoT prompting. The claim (underlined) and CoT (in green) are given as a demonstration. The generated CoT (in italics) leads to an incorrect judgment due to (1) omission of necessary thoughts regarding “nukes”, and (2) fact hallucination abo

実験結果

リサーチクエスチョン

• RQ1 LLMを用いたfew-shotのコンテキスト内学習は、ニュース主張検証において完全に教師ありのモデルと同等の性能を達成できるか？
• RQ2 なぜバニラチェーン・オブ・スケッチプロンプトは、標準的なプロンプトに比べて事実検証において性能が劣るのか？
• RQ3 主張の階層的分解は、LLMベースの検証における推論の完全性を向上させ、捏造を低減できるか？
• RQ4 外部検索を統合することで、LLMが生成する説明の事実的整合性と正確性はどの程度向上するか？
• RQ5 HiSSが生成する推論の説明可能性は、人間が書いた説明と既存の自動ベースラインと比べてどの程度優れているか？

主な発見

• わずか4例のデモンストレーションのみを用いても、LLMがコンテキスト内学習を用いることで、ニュース主張検証において強力な教師ありモデルと同等の性能を達成した。
• バニラチェーン・オブ・スケッチプロンプトは、重要な主張要因の省略や捏造された事実の生成のため、性能が劣っている。
• HiSSプロンプト手法は、2つのベンチマークデータセットにおいて、完全に教師ありの最先端モデルをmacro F1で平均4.95%上回った。
• 人間評価の結果、HiSSが生成する説明はCofCEDベースラインのものよりも読みやすく包括的であり、人間が書いた説明に近いカバレッジスコアを達成した。
• HiSSの説明はCofCEDモデルのものよりも読みやすく冗長性が低く、ゴールスタンダードの人間の説明にはまだわずかに劣っているが、効果的に捏造を低減した。
• 外部検索結果に根拠を置くことで、事実の捏造が効果的に低減されたが、性能はインdeX済み情報の可用性に依存する。

Figure 2: Overview of the proposed HiSS model: Original human inputs are in red background, LLM directly generated text is in white, and answers generated based on search results are in green. We start by providing a few-shot demonstration, followed by appending the claim to be checked (underlined).