[論文レビュー] FactKG: Fact Verification via Reasoning on Knowledge Graphs

Jiho Kim, Sungjin Park+4 more|arXiv (Cornell University)|May 11, 2023

Topic Modeling被引用数 5

ひとこと要約

FactKGは、DBpedia知識グラフに根ざした108k件の主張を備えた新しい事実検証データセットを紹介し、ワンホップ、結合、存在、マルチホップ、否定の5種類の推論タイプにおける推論を可能にしている。提案されたGEARモデルは、グラフ証拠を活用することで優れた性能を達成し、特に存在および否定タスクで顕著な向上を示しており、構造化された知識が事実検証システムにおける信頼性および解釈可能性を向上させることを示している。

ABSTRACT

In real world applications, knowledge graphs (KG) are widely used in various domains (e.g. medical applications and dialogue agents). However, for fact verification, KGs have not been adequately utilized as a knowledge source. KGs can be a valuable knowledge source in fact verification due to their reliability and broad applicability. A KG consists of nodes and edges which makes it clear how concepts are linked together, allowing machines to reason over chains of topics. However, there are many challenges in understanding how these machine-readable concepts map to information in text. To enable the community to better use KGs, we introduce a new dataset, FactKG: Fact Verification via Reasoning on Knowledge Graphs. It consists of 108k natural language claims with five types of reasoning: One-hop, Conjunction, Existence, Multi-hop, and Negation. Furthermore, FactKG contains various linguistic patterns, including colloquial style claims as well as written style claims to increase practicality. Lastly, we develop a baseline approach and analyze FactKG over these reasoning types. We believe FactKG can advance both reliability and practicality in KG-based fact verification.

研究の動機と目的

• 知識グラフ（KG）が事実検証で十分に活用されていない問題に対処するため、KGを信頼性の高い構造的証拠源として活用するデータセットの構築を目的とする。
• テキスト抽出に依存するのではなく、KGの構造を用いて推論チェーンを明示的にモデル化することで、事実検証の信頼性および解釈可能性を向上させることを目的とする。
• 対話システムや実世界の応用への展開を支援するため、書面形式と口語的スタイルの両方の主張を含めることで、実用的応用性を高めることを目的とする。
• 特に否定やマルチホップ推論のような複雑なケースにおいて、グラフベースの証拠がモデル性能に与える影響を評価することを目的とする。
• KGを説明可能な証拠として用いることで、正当化予測のベンチマークを確立し、テキストベースの正当化とは対照的なゴールスタンダードを提供することを目的とする。

提案手法

• WebNLGスタイルの変換を用いてDBpediaの三項対から108k件の自然言語主張を生成し、特定のKG推論パターンと整合性を保証した。
• 主張を5つの推論タイプに分類した：ワンホップ（直接リンク）、結合（複数の事実）、存在（エンティティの存在）、マルチホップ（推論の連鎖）、否定（誤りの検出）。
• 二方向NLIを用いてエンティティ置換および関係置換の2つの置換技術を適用し、主張の妥当性と言語的多様性を確保した。
• 主張テキストと取得したKGパス（証拠チェーン）を連結して統合符号化を行う、知識に配慮した事実検証モデルGEARを構築した。
• エンドツーエンドおよび証拠拡張設定の両方でモデルを訓練・評価し、推論タイプおよび主張スタイルごとの性能を比較した。
• 訓練集合とテスト集合を別々に設定し、BERT、BlueBERT、GEARを用いて、書面形式対口語的スタイルのクロススタイル評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 知識グラフは、特に複雑な推論シナリオにおいて、信頼性があり解釈可能な証拠源として機能できるか？
• RQ2 構造化されたKG証拠を組み込むことで、否定やマルチホップ推論などの異なる推論タイプにおける事実検証性能がどの程度向上するか？
• RQ3 口語的スタイルの主張は、モデル間でどの程度一般化されるか？多様な言語的スタイルを用いることで、モデルの頑健性が向上するか？
• RQ4 テキストのみのベースラインと比較して、グラフ構造の証拠を用いることで、事実検証における正当化および説明可能性が向上するか？
• RQ5 マルチホップ設定において、推論チェーンが長くなったり曖昧になったりした場合、KGベースの事実検証の限界は何か？

主な発見

• GEARは、テキストのみのベースライン（例：BERT、BlueBERT）を上回り、存在推論と否定推論の両タスクで優れた性能を示した。構造化されたグラフ証拠を用いることで、書面形式主張では81.00%、口語的スタイル主張では78.80%の正確度を達成した。
• 最小限のテキスト情報しか含まない存在主張では、グラフ証拠の使用が性能向上に顕著に寄与しており、KGが疎なテキスト信号を補完することの有効性を示している。
• 論理的推論を要する否定主張では、GEARのグラフ構造への依存が顕著な向上をもたらし、明示的な推論パスの価値を強調している。
• マルチホップ推論では、BERTとGEARの性能が同等（W→Cで75.43%）であったが、これはマスク言語モデルが長さの連鎖における曖昧さや未指定エンティティをより効果的に処理できることを示唆している。
• クロススタイル評価から、書面形式主張で微調整されたモデルが口語的スタイル主張へも良好に一般化することが判明し、性能低下は最小限に抑えられた。これは、予想に反して言語的変動に対して頑健であることを示している。
• 多様な言語的スタイルと構造的推論パターンを含むデータセットの設計により、KGに基づく推論の体系的評価が可能となり、今後の説明可能な事実検証分野の研究を支援する基盤が整った。