[论文解读] Building Dynamic Knowledge Graphs from Text using Machine Reading Comprehension

Rajarshi Das, Tsendsuren Munkhdalai+3 more|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 19被引用 44

一句话总结

Kg-Mrc 构建来自过程性文本的动态知识图谱，并使用基于MRC的查询机制来跟踪实体状态，在 ProPara 任务上达到最先进水平，在 Recipes 数据集上实现竞争性结果。

ABSTRACT

We propose a neural machine-reading model that constructs dynamic knowledge graphs from procedural text. It builds these graphs recurrently for each step of the described procedure, and uses them to track the evolving states of participant entities. We harness and extend a recently proposed machine reading comprehension (MRC) model to query for entity states, since these states are generally communicated in spans of text and MRC models perform well in extracting entity-centric spans. The explicit, structured, and evolving knowledge graph representations that our model constructs can be used in downstream question answering tasks to improve machine comprehension of text, as we demonstrate empirically. On two comprehension tasks from the recently proposed PROPARA dataset (Dalvi et al., 2018), our model achieves state-of-the-art results. We further show that our model is competitive on the RECIPES dataset (Kiddon et al., 2015), suggesting it may be generally applicable. We present some evidence that the model's knowledge graphs help it to impose commonsense constraints on its predictions.

研究动机与目标

• 推动从过程性文本自动构建结构化、演化中的知识图谱。
• 开发一个以实体为中心的模型，利用递归图更新跟踪随时间变化的状态变化。
• 利用机器阅读理解在图条件下提取实体-状态跨度。
• 证明在没有仅图监督的情况下，通过MRC跨度监督实现端到端可训练性。

提出的方法

• 扩展基于 DrQA 的 MRC 组件，在每个时间步查询当前实体状态。
• 将实体及其位置表示为时序更新的双分图中的节点。
• 在跨时间步及时间步内应用软指称消解，以处理别名和不变状态。
• 将 MRC 查询条件化为当前图嵌入，以获得位置跨度 ψ_{i,t}。
• 通过带残差连接的递归图模块更新图节点，以传播状态信息。
• 通过最小化 MRC 跨度损失、段落前缀表示和预训练词嵊嵌入实现端到端训练。

实验结果

研究问题

• RQ1 动态图-结构表示是否能提升对过程性文本中实体状态随时间演变的理解？
• RQ2 基于 MRC 的查询在演化图条件下是否比静态或非图基线获得更好的状态跟踪？
• RQ3 软指称和递归在多大程度上有助于跨时间区分实体指称？
• RQ4 所学的知识图是否引入类常识约束以提升预测？

主要发现

• Kg-Mrc 在 ProPara 句级任务（任务 1）和文档级任务（任务 2）上实现了最先进的结果。
• 在任务 1 上，Kg-Mrc 获得 46.62 micro-avg，相比先前的 45.37（Pro-Global），以及消融中的 47.64 micro-avg 显示出有效性。
• 在任务 2 上，Kg-Mrc 达到 56.77 F1，优于 ProStruct（53.75）。
• 在 Recipes 数据集上，Kg-Mrc 略高于基线 NPN，训练样本仅 1 万。
• 消融研究表明跨时间和时间内的软指称都对性能有贡献，递归图模块至关重要。
• Kg-Mrc 学习到类似常识的约束，在没有显式约束的情况下减少违规。