[论文解读] Path-Based Contextualization of Knowledge Graphs for Textual Entailment

Kshitij Fadnis, Kartik Talamadupula+4 more|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 35被引用 4

一句话总结

本文提出了一种基于路径的知识图谱（KG）上下文化方法，通过在前提和假设实体之间使用成本定制的最短路径提取与任务相关的子图，以增强文本蕴涵任务。通过利用多种启发式方法对边进行加权并选择信息量丰富的多跳路径，该方法在仅使用文本或仅使用实体的基线模型上提升了自然语言推理（NLI）性能，减少了噪声并保留了关系结构，在SciTail数据集上提升3.15%，在SNLI数据集上提升0.97%。

ABSTRACT

In this paper, we introduce the problem of knowledge graph contextualization -- that is, given a specific NLP task, the problem of extracting meaningful and relevant sub-graphs from a given knowledge graph. The task in the case of this paper is the textual entailment problem, and the context is a relevant sub-graph for an instance of the textual entailment problem -- where given two sentences p and h, the entailment relationship between them has to be predicted automatically. We base our methodology on finding paths in a cost-customized external knowledge graph, and building the most relevant sub-graph that connects p and h. We show that our path selection mechanism to generate sub-graphs not only reduces noise, but also retrieves meaningful information from large knowledge graphs. Our evaluation shows that using information on entities as well as the relationships between them improves on the performance of purely text-based systems.

研究动机与目标

• 解决从大型、嘈杂的知识图谱中提取有意义且相关的子图以用于自然语言处理任务的挑战。
• 通过结合知识图谱中的实体和关系而非仅依赖文本或实体级信息，提升文本蕴涵任务的性能。
• 通过使用可调的启发式方法和路径长度约束动态选择信息丰富的路径，减少知识图谱增强过程中的噪声。
• 证明基于路径的信息——尤其是关系结构——相比仅使用实体或仅使用结构的方法，能显著提升NLI系统性能。
• 提供一种可泛化、可扩展的替代方案，避免依赖人工设计的特征或单跳邻域扩展的模型。

提出的方法

• 通过多种启发式函数（如RF、DC）对知识图谱中的边权重进行定制化处理，以引导路径选择，将图转化为成本定制版本，用于最短路径计算。
• 在成本定制图上使用A*搜索算法计算前提和假设中实体之间的最短路径，其中启发式方法应用于边而非节点。
• 生成的路径（包含实体和关系）被用于增强NLI模型的文本输入，从而引入结构化的关系知识。
• 在结合文本特征与路径特征的基础上训练Match-LSTM模型，以预测蕴涵、矛盾或中性关系。
• 将多种启发式方法和路径长度作为超参数进行评估，以在子图提取中平衡相关性与噪声减少。
• 在SNLI、SciTail和BreakingNLI数据集上对方法进行评估，与基于路径、仅使用实体和仅使用结构的基线模型进行比较。

实验结果

研究问题

• RQ1 与仅使用文本或仅使用实体的方法相比，基于路径的知识图谱子图提取是否能提升文本蕴涵任务的性能？
• RQ2 在路径上同时引入实体和关系信息，与仅使用实体或图结构信息相比，对NLI模型性能有何影响？
• RQ3 使用多种自动计算的启发式方法在多大程度上减少了知识图谱子图中的噪声，以用于NLI任务？
• RQ4 路径长度约束如何影响所提取子图的信息丰富度与噪声之间的权衡？
• RQ5 与依赖人工设计特征或单跳邻域扩展的模型相比，所提出方法是否具有更好的泛化能力？

主要发现

• 在SciTail数据集上，该路径方法相比KES基线模型实现了3.15%的绝对性能提升，尽管平均使用的实体数（13.72 vs. 33.27）和关系数（10.24 vs. 22.09）显著减少。
• 在SNLI数据集上，该方法相比KES基线模型实现了0.97%的绝对性能提升，同时将平均实体数和关系数减少了50%以上。
• GRN模型在SciTail和SNLI数据集上均优于ConSeqNet和KES，证明了使用完整路径信息相比仅使用概念或单跳结构信息的优势。
• 在BreakingNLI数据集上，该方法对对抗性扰动表现出鲁棒性，尽管其性能仍低于KES和KIM，后两者得益于该数据集的单跳设计优势。
• 通过使用多种启发式方法和可调路径长度，实现了有效的噪声减少，同时保持或提升了性能，验证了该方法的灵活性与可扩展性。
• 结果证实，路径上的关系信息对NLI性能的贡献大于仅使用实体级或结构级特征，凸显了完整路径上下文化的重要价值。