[论文解读] FactKG: Fact Verification via Reasoning on Knowledge Graphs

Jiho Kim, Sungjin Park+4 more|arXiv (Cornell University)|May 11, 2023

Topic Modeling被引用 5

一句话总结

FactKG 引入了一个新的事实验证数据集，包含 108k 个基于 DBpedia 知识图谱的主张，支持五类推理——单跳、合取、存在性、多跳和否定。所提出的 GEAR 模型利用图结构证据，在存在性和否定任务中表现出色，证明了结构化知识可提升事实验证系统的可靠性与可解释性。

ABSTRACT

In real world applications, knowledge graphs (KG) are widely used in various domains (e.g. medical applications and dialogue agents). However, for fact verification, KGs have not been adequately utilized as a knowledge source. KGs can be a valuable knowledge source in fact verification due to their reliability and broad applicability. A KG consists of nodes and edges which makes it clear how concepts are linked together, allowing machines to reason over chains of topics. However, there are many challenges in understanding how these machine-readable concepts map to information in text. To enable the community to better use KGs, we introduce a new dataset, FactKG: Fact Verification via Reasoning on Knowledge Graphs. It consists of 108k natural language claims with five types of reasoning: One-hop, Conjunction, Existence, Multi-hop, and Negation. Furthermore, FactKG contains various linguistic patterns, including colloquial style claims as well as written style claims to increase practicality. Lastly, we develop a baseline approach and analyze FactKG over these reasoning types. We believe FactKG can advance both reliability and practicality in KG-based fact verification.

研究动机与目标

• 为解决知识图谱（KG）在事实验证中未被充分利用的问题，创建一个利用 KG 作为可靠、结构化证据来源的数据集。
• 通过显式建模 KG 结构中的推理链，而非仅依赖文本抽取，提升事实验证的可靠性与可解释性。
• 通过包含书面语和口语化风格的主张，增强实际应用的适用性，支持对话系统和现实场景的部署。
• 评估基于图的证据对不同推理类型下模型性能的影响，特别是在否定和多跳推理等复杂情形下。
• 建立基于 KG 的解释性证据的推理预测基准，为文本基解释提供金标准替代方案。

提出的方法

• 使用 WebNLG 风格转换，从 DBpedia 三元组生成 108k 个自然语言主张，确保与特定 KG 推理模式对齐。
• 将主张分类为五类推理类型：单跳（直接链接）、合取（多个事实）、存在性（实体存在性）、多跳（推理链）和否定（虚假检测）。
• 采用两种替换技术——实体替换和关系替换——并利用双向 NLI 确保主张的有效性与语言多样性。
• 构建一个知识感知的事实验证模型 GEAR，将主张文本与检索到的 KG 路径（证据链）拼接后进行联合编码。
• 在端到端和证据增强两种设置下训练并评估模型，比较不同推理类型和主张风格下的性能表现。
• 开展跨风格评估（书面语 vs. 口语化主张），以评估泛化能力，使用 BERT、BlueBERT 和 GEAR 在互不重叠的训练集与测试集上进行实验。

实验结果

研究问题

• RQ1 知识图谱能否作为事实验证的可靠且可解释的证据来源，特别是在复杂推理场景中？
• RQ2 将结构化 KG 证据整合进来，如何提升不同推理类型（如否定和多跳推理）下的事实验证性能？
• RQ3 口语化风格的主张在多模型间泛化的程度如何？使用多样化的语言风格是否能增强模型的鲁棒性？
• RQ4 与仅依赖文本的基线相比，使用图结构证据是否能带来更好的推理解释性与可解释性？
• RQ5 在推理链变长或模糊时，KG 基的事实验证存在哪些局限性，特别是在多跳设置中？

主要发现

• 在使用图证据时，GEAR 在存在性和否定推理类型上优于纯文本基线模型（如 BERT、BlueBERT），在书面语主张上达到 81.00% 的准确率，在口语化主张上达到 78.80%。
• 在仅包含最少文本信息的存在性主张中，图证据的使用显著提升了性能，表明 KG 可有效弥补稀疏的文本信号。
• 在需要逻辑推理的否定主张中，GEAR 依赖图结构带来的性能提升显著，凸显了显式推理路径的价值。
• 在多跳推理中，BERT 与 GEAR 表现相当（W→C 设置下均为 75.43%），表明掩码语言建模在处理长链中的模糊性和未充分指定实体方面更具优势。
• 跨风格评估显示，经过书面语主张微调的模型在口语化主张上泛化良好，性能下降极小——出乎意料——表明对语言变化具有鲁棒性。
• 该数据集的设计（包括多样的语言风格和结构化的推理模式）支持对 KG 基推理的系统性评估，并为未来可解释的事实验证研究提供支持。