[论文解读] KGCleaner : Identifying and Correcting Errors Produced by Information Extraction Systems

Ankur Padia, Francis Ferraro+1 more|arXiv (Cornell University)|Aug 15, 2018

Topic Modeling参考文献 14被引用 4

一句话总结

KGCleaner 是一个联合识别并修正信息抽取系统提取的知识库事实错误的多任务框架。它使用浅层神经网络对可信度进行分类并修复有缺陷的关系，使 Wikidata 上的 F1 值提升了 30 个点，并根据数据集特性使修复性能提升超过两倍。

ABSTRACT

KG Cleaner is a framework to identify and correct errors in data produced and delivered by an information extraction system. These tasks have been understudied and KG Cleaner is the first to address both. We introduce a multi-task model that jointly learns to predict if an extracted relation is credible and repair it if not. We evaluate our approach and other models as instance of our framework on two collections: a Wikidata corpus of nearly 700K facts and 5M fact-relevant sentences and a collection of 30K facts from the 2015 TAC Knowledge Base Population task. For credibility classification, we find that parameter efficient, simple shallow neural networks can achieve an absolute performance gain of 30 F1 points on Wikidata and comparable performance on TAC. For the repair task, significant performance (at more than twice) gain can be obtained depending on the nature of the dataset and the models.

研究动机与目标

• 解决从信息抽取系统中知识库构建时错误识别与修正这一未被充分探索的问题。
• 开发一个统一框架，联合学习可信度预测与关系修复。
• 在多样化的现实世界数据集（包括 Wikidata 和 2015 年 TAC KBP 基准）上评估该框架。
• 证明简单且参数高效的模型在可信度分类任务中可优于复杂基线模型。
• 量化不同数据分布和模型类型下修复性能的提升程度。

提出的方法

• 该框架采用多任务学习架构，在可信度分类与关系修复任务之间共享表示。
• 使用浅层、参数高效的神经网络预测提取的关系是否可信。
• 在可信度较低时，模型通过带有注意力机制的序列到序列生成方法生成修正后的三元组关系。
• 模型在两个数据集上进行联合训练：一个包含约 700K 个事实和 500 万个相关句子的 Wikidata 语料库，以及一个包含 3 万个事实的 TAC KBP 数据集。
• 训练过程对可信度预测与修复生成目标进行端到端联合优化。
• 该框架利用上下文句子特征，以提升可信度评估与修复准确率。

实验结果

研究问题

• RQ1 多任务学习框架能否有效识别并修正从提取的知识库事实中的错误？
• RQ2 浅层神经网络在知识库事实可信度分类任务中与更复杂模型相比表现如何？
• RQ3 可信度与修复任务的联合学习能在多大程度上提升整体性能？
• RQ4 性能在不同数据集和错误类型下如何变化？
• RQ5 模型复杂度与参数效率对可信度与修复任务的影响如何？

主要发现

• 浅层神经网络在 Wikidata 数据集上的可信度分类任务中，相比基线模型实现了 30 个 F1 点的绝对提升。
• 在 TAC KBP 数据集上，相同模型实现了与更复杂架构相当的性能，表明其在不同数据集上的鲁棒性。
• 修复任务的性能提升超过两倍，具体取决于数据集和模型配置。
• 可信度与修复任务的联合学习带来了显著改进，尤其在复杂或噪声较大的数据分布中表现更优。
• 该框架在包括 Wikidata 和 TAC KBP 在内的多样化知识库构建任务中表现出强大的泛化能力。
• 在不牺牲性能的前提下保持了参数效率，使该方法在真实世界部署中具备可扩展性和实用性。