[论文解读] Improving Question Answering by Commonsense-Based Pre-Training

Wanjun Zhong, Duyu Tang+4 more|arXiv (Cornell University)|Sep 5, 2018

Topic Modeling参考文献 39被引用 13

一句话总结

本文提出了一种基于常识的预训练方法，通过在ConceptNet上学习概念之间的直接与间接关系函数，增强神经网络问答模型。通过在知识图谱上进行预训练，并将这些函数整合到现有神经模型中，该方法在三个常识QA基准测试中均提升了性能，表明外部知识可突破训练数据的限制，增强推理能力。

ABSTRACT

Although neural network approaches achieve remarkable success on a variety of NLP tasks, many of them struggle to answer questions that require commonsense knowledge. We believe the main reason is the lack of commonsense \mbox{connections} between concepts. To remedy this, we provide a simple and effective method that leverages external commonsense knowledge base such as ConceptNet. We pre-train direct and indirect relational functions between concepts, and show that these pre-trained functions could be easily added to existing neural network models. Results show that incorporating commonsense-based function improves the baseline on three question answering tasks that require commonsense reasoning. Further analysis shows that our system \mbox{discovers} and leverages useful evidence from an external commonsense knowledge base, which is missing in existing neural network models and help derive the correct answer.

研究动机与目标

• 解决神经网络QA模型在处理需要常识推理的问题时的局限性。
• 利用外部常识知识库（如ConceptNet）提升模型在标注训练数据之外的泛化能力。
• 开发一种预训练方法，以捕捉知识图谱中直接与间接的概念关系。
• 在不改变原有神经QA模型架构的前提下，将预训练的关系函数整合到现有模型中。
• 证明外部知识可被有效用于发现推理所需的有用证据。

提出的方法

• 使用基于图的神经网络在ConceptNet上对概念间的关系函数进行预训练，以捕捉直接与间接连接。
• 通过概念的文本形式及其在知识图谱中的邻域信息来表示每个概念，以丰富语义表征。
• 使用上下文感知模块，根据与输入问题和文本的相关性对检索到的概念进行加权。
• 将预训练的常识函数作为外部信号集成到现有神经QA模型中，以增强其推理能力。
• 通过早期融合或后期交互方式，将预训练模型与标准神经网络结合，以提升预测得分。
• 将该方法应用于三个多项选择题QA任务：ARC、SemEval 2018 Task 11和OpenBook QA，所有任务均使用相同的基线架构。

实验结果

研究问题

• RQ1 在常识知识库上进行预训练是否能提升神经问答模型的推理能力？
• RQ2 直接与间接概念关系在提升常识推理任务的QA性能方面有多有效？
• RQ3 预训练的关系函数是否能无需大规模架构修改即可轻松集成到现有神经QA模型中？
• RQ4 该系统是否能发现并利用标准模型中缺失的外部知识库中的相关证据？
• RQ5 该模型在处理需要逻辑推理或多跳推理的问题时表现如何，而不仅仅是简单的事实检索？

主要发现

• 基于常识的预训练方法在所有三个QA基准测试（ARC、SemEval 2018 Task 11和OpenBook QA）中均提升了基线性能。
• 预训练模型通过使基线神经网络能够发现并利用此前无法访问的ConceptNet中的相关证据，从而增强了其性能。
• 预训练关系函数的整合带来了可测量的性能提升，尤其在需要间接或非显式推理的问题上表现更优。
• 即使外部知识库（ConceptNet）与QA任务的训练数据分布不直接对齐，该方法依然有效。
• 错误分析显示，模型在处理模糊实体提及和复杂逻辑推理方面仍存在局限，提示在消歧和语义解析方面仍有改进空间。
• 该方法具有模块化和互补性，将预训练模型与基线神经模型结合使用，效果优于单独使用任一模型。