[论文解读] Enhancing Freebase Question Answering Using Textual Evidence.

Kun Xu, Yansong Feng+3 more|arXiv (Cornell University)|Mar 3, 2016

Topic Modeling参考文献 41被引用 8

一句话总结

该论文提出了一种混合方法，通过将维基百科的文本证据整合到神经关系抽取流程中，以提升基于Freebase的问答性能。首先利用神经网络模型从Freebase中检索候选答案，然后通过维基百科文本证据对候选答案进行验证，最终在WebQuestions数据集上取得了53.3的F1分数，显著优于先前方法。

ABSTRACT

Existing knowledge-based question answering systems often rely on small annotated training data. While shallow methods like information extraction techniques are robust to data scarcity, they are less expressive than deep understanding methods, thereby failing at answering questions involving multiple constraints. Here we alleviate this problem by empowering a relation extraction method with additional evidence from Wikipedia. We first present a novel neural network based relation extractor to retrieve the candidate answers from Freebase, and then develop a refinement model to validate answers using Wikipedia. We achieve 53.3 F1 on WebQuestions, a substantial improvement over the state-of-the-art.

研究动机与目标

• 解决基于知识的问答系统在处理具有多个约束条件的复杂问题时的局限性。
• 通过利用维基百科的外部文本证据，缓解训练数据稀缺的问题。
• 在浅层信息抽取方法无法达到的水平上，提升答案准确性。
• 开发一种基于自然语言证据的验证机制，用于验证Freebase中的答案。
• 在WebQuestions基准测试中实现最先进性能。

提出的方法

• 训练一种新型基于神经网络的关系抽取器，利用问题嵌入从Freebase中检索候选答案。
• 为每个候选答案收集相关的维基百科段落作为文本证据。
• 引入一种精炼模型，通过对比维基百科证据来验证候选答案。
• 精炼模型使用注意力机制对齐问题与证据文本，从而提升答案置信度。
• 采用两阶段架构，将Freebase检索与基于维基百科的验证相结合。
• 模型可端到端训练，关系抽取与基于证据的验证实现联合优化。

实验结果

研究问题

• RQ1 来自维基百科的外部文本证据能否提升基于Freebase的问答准确性？
• RQ2 结合神经关系抽取与维基百科精炼的模型在处理复杂、多约束问题时效果如何？
• RQ3 基于证据的验证在多大程度上减少了Freebase问答系统中的误报？
• RQ4 整合维基百科是否能提升开放域问答基准（如WebQuestions）上的性能？
• RQ5 在标注数据有限的情况下，两阶段方法是否优于端到端神经模型？

主要发现

• 所提方法在WebQuestions基准测试中取得了53.3的F1分数，显著优于先前最先进方法。
• 维基百科证据的整合显著提升了答案验证效果，尤其在处理多约束复杂问题时表现突出。
• 神经关系抽取器在从Freebase中检索候选答案方面表现出色，即使训练数据有限。
• 精炼模型通过利用自然语言证据，有效过滤了错误答案，降低了幻觉现象与错误率。
• 两阶段流程——先候选答案检索，再基于证据的验证——比单阶段方法更为有效。
• 结果证实，外部文本证据可弥补基于知识的问答系统中的数据稀缺问题。