[论文解读] Improved Neural Relation Detection for Knowledge Base Question Answering

Mo Yu, Wenpeng Yin+4 more|arXiv (Cornell University)|Apr 20, 2017

Topic Modeling参考文献 27被引用 53

一句话总结

本文提出 HR-BiLSTM，一种分层残差 BiLSTM 模型用于 KB 关系检测，并显示其在 SimpleQuestions 和 WebQSP 上达到最先进的结果，并提升一个简单的 KBQA 系统。

ABSTRACT

Relation detection is a core component for many NLP applications including Knowledge Base Question Answering (KBQA). In this paper, we propose a hierarchical recurrent neural network enhanced by residual learning that detects KB relations given an input question. Our method uses deep residual bidirectional LSTMs to compare questions and relation names via different hierarchies of abstraction. Additionally, we propose a simple KBQA system that integrates entity linking and our proposed relation detector to enable one enhance another. Experimental results evidence that our approach achieves not only outstanding relation detection performance, but more importantly, it helps our KBQA system to achieve state-of-the-art accuracy for both single-relation (SimpleQuestions) and multi-relation (WebQSP) QA benchmarks.

研究动机与目标

• 解决 KBQA 中大量/开放的、以及未见关系的挑战。
• 开发一个能够在大量关系乃至未见关系上泛化的关系检测模型。
• 将关系检测整合到一个简单的 KBQA 流水线中以提升端任务准确性。

提出的方法

• 在词级别和关系级别进行关系表示并通过分层匹配将两者结合。
• 使用深层 BiLSTM 从多个抽象层次对问题进行编码。
• 在 BiLSTM 层之间引入残差连接以实现有效的分层匹配（HR-BiLSTM）。
• 使用排序损失进行训练，以区分黄金关系与负例。
• 将关系检测器整合到包含实体再排序和核心链检测的两步 KBQA 流水线中。

实验结果

研究问题

• RQ1 关系检测如何在数千个 KB 关系中进行泛化，包括未见的关系？
• RQ2 带有残差学习的分层匹配是否能够在不同抽象层次上改善问题与关系的对齐？
• RQ3 同时使用关系名称和词级关系表示是否能提升 KBQA 的端任务表现？
• RQ4 关系检测如何影响 KBQA 中的实体再排序和核心链提取？

主要发现

• HR-BiLSTM 在 SimpleQuestions 和 WebQSP 的关系检测任务上相较基线提升 2–3 个百分点。
• 带有残差学习的分层匹配在性能上优于简单层融合法，特别是在 WebQSP 上。
• 同时使用关系名称和词级关系表示比单独使用任一表示时取得更好结果，在 SimpleQuestions 上有显著提升。
• 两步 KBQA 结合关系检测和实体再排序，在 SimpleQuestions 上达到最先进的结果，在 WebQSP 上也具有竞争力。
• 多检测器集成进一步提升 SimpleQuestions 的性能。