[論文レビュー] FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking

Tsun-Hin Cheung, Kin‐Man Lam|arXiv (Cornell University)|Sep 1, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、外部の証拠取得を統合することで、指令微調整されたLLMの正確性を向上させる、FactLLaMAという事実検証フレームワークを提案する。検索エンジンから得た証拠と微調整されたLLaMAモデルを組み合わせることで、RAWFCおよびLIARデータセットにおいて最先端の性能を達成し、知識拡張によって幻覚を著しく低減し、事実性予測を向上させる。

ABSTRACT

Automatic fact-checking plays a crucial role in combating the spread of misinformation. Large Language Models (LLMs) and Instruction-Following variants, such as InstructGPT and Alpaca, have shown remarkable performance in various natural language processing tasks. However, their knowledge may not always be up-to-date or sufficient, potentially leading to inaccuracies in fact-checking. To address this limitation, we propose combining the power of instruction-following language models with external evidence retrieval to enhance fact-checking performance. Our approach involves leveraging search engines to retrieve relevant evidence for a given input claim. This external evidence serves as valuable supplementary information to augment the knowledge of the pretrained language model. Then, we instruct-tune an open-sourced language model, called LLaMA, using this evidence, enabling it to predict the veracity of the input claim more accurately. To evaluate our method, we conducted experiments on two widely used fact-checking datasets: RAWFC and LIAR. The results demonstrate that our approach achieves state-of-the-art performance in fact-checking tasks. By integrating external evidence, we bridge the gap between the model's knowledge and the most up-to-date and sufficient context available, leading to improved fact-checking outcomes. Our findings have implications for combating misinformation and promoting the dissemination of accurate information on online platforms. Our released materials are accessible at: https://thcheung.github.io/factllama.

研究の動機と目的

• 指令に従うLLMの事実検証における限界、特に古くなったまたは不十分な内部知識によるものに対処すること。
• 最新で外部の証拠を組み込むことで、自動事実検証システムの正確性と信頼性を向上させること。
• LLMが取得した証拠をもとに推論できる、検索拡張型微調整フレームワークを開発すること。
• 標準的な事実検証ベンチマーク上で手法を評価し、ベースラインのLLMよりも優れていることを示すこと。

提案手法

• 外部の検索エンジンを用いて、与えられた主張に関する関連する証拠を取得し、最新の情報をアクセスする。
• 微調整の過程で、取得した証拠を指令微調整されたLLaMAモデルに追加して、外部の事実に基づく推論を向上させる。
• モデルの出力を検証済みの証拠と一致させるために、検索拡張型指令微調整戦略を用いる。
• 取得した証拠と入力された主張を、LLMの入力シーケンスに統合するプロンプト工学的手法を採用する。
• 証拠を伴う事実検証データ上でエンドツーエンドにモデルを学習させ、主張の真偽をより正確に予測できるようにする。
• ベースモデルとしてオープンソースのLLaMAを採用し、証拠拡張データを用いた指令微調整を実施して、事実検証タスクに最適化する。

実験結果

リサーチクエスチョン

• RQ1 外部証拠の取得統合が、指令微調整されたLLMの事実検証性能を向上させることができるか？
• RQ2 検索拡張型指令微調整は、標準的な微調整と比較して、主張の検証能力にどのような影響を与えるか？
• RQ3 外部証拠の統合が、LLMが出力する判断における幻覚をどの程度低減し、事実の整合性を向上させるか？
• RQ4 提案手法は、RAWFCやLIARのような多様な事実検証ベンチマークに一般化可能か？

主な発見

• FactLLaMAは、RAWFCおよびLIARの両方のベンチマークデータセットで最先端の性能を達成し、既存の指令微調整LLMを上回っている。
• 外部証拠の統合により、主張の真偽予測の正確性が著しく向上し、とくに最新情報や専門的知識を必要とする主張に対して顕著である。
• 検索拡張型微調整アプローチにより、予測が取得した事実的証拠に根ざすようになり、モデルの幻覚が低減された。
• 本手法は多様な主張タイプや分野においても安定した性能を示し、強力な一般化能力を有していることが示された。