[論文レビュー] Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models

Miaoran Li, Baolin Peng+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 4

ひとこと要約

Self-Checker は、大規模言語モデル（LLM）を用いたゼロショット事実確認を可能にするプラグアンドプレイフレームワークであり、4つのプロンプトベースのモジュール（主張処理、クエリ生成、証拠取得、判断予測）で構成される。実証的結果から、WiCE および Fever データセットにおいて競争力ある性能を示したが、ファインチューニングされた最先端（SOTA）モデルに劣っていることから、LLMのプロンプト技術による事実確認の可能性と現在の限界が浮き彫りになった。

ABSTRACT

Fact-checking is an essential task in NLP that is commonly utilized for validating the factual accuracy of claims. Prior work has mainly focused on fine-tuning pre-trained languages models on specific datasets, which can be computationally intensive and time-consuming. With the rapid development of large language models (LLMs), such as ChatGPT and GPT-3, researchers are now exploring their in-context learning capabilities for a wide range of tasks. In this paper, we aim to assess the capacity of LLMs for fact-checking by introducing Self-Checker, a framework comprising a set of plug-and-play modules that facilitate fact-checking by purely prompting LLMs in an almost zero-shot setting. This framework provides a fast and efficient way to construct fact-checking systems in low-resource environments. Empirical results demonstrate the potential of Self-Checker in utilizing LLMs for fact-checking. However, there is still significant room for improvement compared to SOTA fine-tuned models, which suggests that LLM adoption could be a promising approach for future fact-checking research.

研究の動機と目的

• ファインチューニングを一切行わず、訓練不要で効率的な事実確認システムを大規模言語モデル（LLM）を用いて開発すること。
• 生成された主張の自動検証を外部の証拠を用いて行うことで、LLMの「幻覚現象」の課題に対処すること。
• モジュラーでプロンプトベースのコンponents を用いることで、リソースが限られた環境や新しいドメインに迅速に展開できるようにすること。
• ファインチューニングされた最先端（SOTA）モデルと比較して、純粋にプロンプトベースの LLM が事実確認にどの程度効果的かを評価すること。
• LLM を用いた検証において、特に判断予測の段階で生じる事実確認パイプラインのボトル neck を同定すること。

提案手法

• 文脈例を提示したプロンプトを用いた主張処理モジュールにより、複雑な主張を単純化され、検証可能な部分主張に分解する。
• 各部分主張に対してターゲットに合わせた検索クエリを生成するクエリ生成モジュールを用い、Wikipedia などの知識源からの取得を可能にする。
• LLM プロンプトを用いて、取得された文書から関連する証拠文を抽出する証拠探索モジュールを採用する。
• 抽出された証拠に基づき、主張の真偽を評価する判断カウンセラー モジュールを用い、複数の主張にわたる結果を集約する。
• タスクの指示と文脈例に基づき、モジュール間のワークフローを調整するポリシー エージェントを統合する。
• モデルのファインチューニングを避けるために、デモンストレーションを用いた文脈学習に依存することで、ほぼゼロショットの設定で動作する。

Figure 1: Self-Checker assesses the veracity of LLM generated response by (1) extracting simple claims for verification from the input text, (2) generating search query for each claim to retrieve related documents, (3) selecting evidence sentences from retrieved documents, and (4) predicting the fin

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングを一切行わず、プロンプトと文脈学習のみを用いて、LLM を効果的に事実確認に活用できるか。
• RQ2 純粋にプロンプトベースの事実確認システムの性能は、最先端（SOTA）のファインチューニング済みモデルと比べてどの程度か。
• RQ3 LLM を用いた検証において、事実確認パイプラインのどのコンponent が主なボトル neck であるか。
• RQ4 主張の分解が、LLM を用いた事実確認システムにおける証拠取得と判断予測にどの程度向上効果をもたらすか。
• RQ5 Self-Checker のモジュラーでプラグアンドプレイな設計は、最小限のリソースで新しいドメインに効果的に適応可能か。

主な発見

• Self-Checker はゼロショット事実確認において強く有望な性能を示し、ファインチューニングなしで WiCE および Fever データセットの両方で妥当な性能を達成した。
• 判断カウンセラー モジュールがパイプラインにおける主なボトル neck であると特定され、LLM を用いたシステムにおける主張検証が依然として主要な課題であることが示された。
• 証拠取得の性能は主な制限要因ではない。証拠探索モジュールの改善が、全体の結果を顕著に向上させないことが判明した。
• 主張の分解は、証拠取得と判断予測の両方を向上させ、先行研究と整合する結果をもたらし、システム全体の正確性を向上させた。
• 効率的で適応性に富んだ一方で、Self-Checker の性能は SOTA のファインチューニング済みモデルに劣っているため、LLM プロンプト戦略の最適化の余地があることが示された。
• フレームワークはリソースが限られた環境への迅速な展開を可能にし、モジュラーでプロンプトベースの設計により、新しいデータやドメインの容易な統合をサポートする。

Figure 2: Overview of Self-Checker . The framework consists of four plug-and-play modules: (1) claim processor, (2) query generator, (3) evidence seeker, and (4) verdict counselor.