[论文解读] Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network

Deming Ye, Yankai Lin+3 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 11被引用 14

一句话总结

该论文提出了一种知识增强的图神经网络（KGNN），用于开放域问答（OpenQA）中的多段落推理，通过建模知识图谱中的实体及其关系事实，实现在段落间的结构化推理。KGNN在HotpotQA数据集上优于强基线模型，在含干扰段落设置下取得52.82%的F1分数，在完整维基百科设置下取得47.19%的F1分数，表现出在检索段落数量增加时的鲁棒性。

ABSTRACT

Multi-paragraph reasoning is indispensable for open-domain question answering (OpenQA), which receives less attention in the current OpenQA systems. In this work, we propose a knowledge-enhanced graph neural network (KGNN), which performs reasoning over multiple paragraphs with entities. To explicitly capture the entities' relatedness, KGNN utilizes relational facts in knowledge graph to build the entity graph. The experimental results show that KGNN outperforms in both distractor and full wiki settings than baselines methods on HotpotQA dataset. And our further analysis illustrates KGNN is effective and robust with more retrieved paragraphs.

研究动机与目标

• 为解决现有OpenQA系统在多段落推理方面缺乏有效方法的问题，特别是针对需要跨段落推理的问题。
• 通过将实体建模为节点并利用知识图谱表示其关系，提升对多段落的推理能力。
• 开发一种图神经网络，通过外部知识中的共指关系和关系事实捕捉实体之间的关联性。
• 评估模型在处理越来越多检索段落时的鲁棒性与可扩展性。

提出的方法

• 使用spaCy从段落中提取实体，并通过Wikidata进行知识对齐。
• 在跨段落中表示同一实体的提及之间建立共指边，构建实体图。
• 若实体在知识图谱中共享关系（如“歌词由”、“唱片公司”等），则在它们之间添加关系边。
• 通过知识增强的图神经网络在关系实体图上执行消息传递，以更新节点表示。
• 模型使用多头自注意力与双注意机制，将问题和段落编码为上下文表示。
• 通过图网络更新后的实体表示，采用跨度抽取方式完成最终答案预测。

实验结果

研究问题

• RQ1 与基线模型相比，知识增强的图神经网络是否能提升开放域问答中的多段落推理能力？
• RQ2 在多段落推理中，引入知识图谱中的关系事实如何影响模型性能？
• RQ3 当检索段落数量增加时，模型是否能保持甚至提升性能，表明其对噪声的鲁棒性？
• RQ4 在HotpotQA上进行推理时，实体图中消息传递的最佳深度（层数）是多少？
• RQ5 在同时包含干扰段落和完整维基百科检索的设置下，模型表现如何？

主要发现

• 在HotpotQA的干扰段落设置下，KGNN取得52.82%的F1分数和22.40%的EM分数，显著优于Yang等人（2018）的41.87% F1和18.14% EM。
• 在完整维基百科设置下，KGNN取得47.19%的F1分数和7.03%的EM分数，超过Yang等人（2018）的37.71% F1和1.85% EM。
• 两层KGNN模型表现最佳（F1为54.05%），表明两跳推理对大多数HotpotQA问题最为合适。
• 当检索段落达到30篇时，KGNN的F1提升至25.12%，相比Yang等人（2018）的21.52%表现出更强的去噪能力和可扩展性。
• 模型在段落数量增加时表现出鲁棒性，随着段落增多，性能提升速度超过基线模型。
• 使用五个关键关系——导演、职位、唱片公司、歌词由、改编自——显著增强了推理能力。