[论文解读] Multi-Passage Machine Reading Comprehension with Cross-Passage Answer Verification

Yizhong Wang, Kai Liu+6 more|arXiv (Cornell University)|May 6, 2018

Topic Modeling参考文献 26被引用 11

一句话总结

本文提出了一种用于多段阅读理解的端到端神经模型，通过实现跨段落答案验证来提高答案准确率。该模型联合训练三个模块——答案边界预测、答案内容建模和跨段落验证，从而在英文 MS-MARCO 和中文 DuReader 数据集上实现了最先进性能，其核心在于利用不同段落中正确答案候选之间的语义一致性。

ABSTRACT

Machine reading comprehension (MRC) on real web data usually requires the machine to answer a question by analyzing multiple passages retrieved by search engine. Compared with MRC on a single passage, multi-passage MRC is more challenging, since we are likely to get multiple confusing answer candidates from different passages. To address this problem, we propose an end-to-end neural model that enables those answer candidates from different passages to verify each other based on their content representations. Specifically, we jointly train three modules that can predict the final answer based on three factors: the answer boundary, the answer content and the cross-passage answer verification. The experimental results show that our method outperforms the baseline by a large margin and achieves the state-of-the-art performance on the English MS-MARCO dataset and the Chinese DuReader dataset, both of which are designed for MRC in real-world settings.

研究动机与目标

• 解决在真实网络数据上的多段阅读理解中存在多个令人困惑的答案候选的问题。
• 克服单段阅读理解模型在多段设置下因答案冲突或模糊而产生的局限性。
• 通过利用内容表征使不同段落中的答案候选相互验证，从而改进答案选择。
• 开发一个端到端可训练的框架，集成答案边界检测、内容建模和跨段落验证。
• 在面向网络规模问答任务的真实世界阅读理解基准上实现最先进性能。

提出的方法

• 使用基于边界指针网络来预测每一段中答案片段的起始和结束位置。
• 通过内容概率对答案内容进行建模，以在答案片段内细化词级注意力，突出语义相关词语。
• 应用跨段落注意力机制，使每个答案候选基于其内容表征关注其他候选，以评估其一致性。
• 通过不同形式的答案监督（边界标签、内容得分和验证信号）联合训练三个模块。
• 采用可微分损失函数，鼓励答案重叠且语义一致，同时惩罚不一致或错误的候选答案。
• 利用答案候选之间的自注意力机制，通过段落间的一致性共识识别并验证正确答案。

实验结果

研究问题

• RQ1 在多段阅读理解中，当多个段落可能产生冲突的答案候选时，跨段落答案验证能否提升性能？
• RQ2 如何利用答案内容表征来区分边界跨度相似但答案错误的候选？
• RQ3 边界检测、内容建模和验证模块的联合训练在多大程度上提升了整体阅读理解性能？
• RQ4 在真实世界的阅读理解设置中，能否通过跨段落验证答案的模型超越流水线或独立重排序方法？
• RQ5 不同段落中答案候选之间的语义一致性是否与答案正确性相关，且能否在神经网络模型中有效利用？

主要发现

• 所提出的模型在英文 MS-MARCO 数据集上实现了最先进性能，显著优于基线模型。
• 在中文 DuReader 数据集上，该模型也取得了最先进结果，展现出在不同语言和领域间的强大泛化能力。
• 跨段落答案验证模块有效减少了错误答案预测，通过识别候选答案间的一致性差异。
• 三个模块的联合训练性能优于单独训练或使用串行流水线的方式。
• 答案片段内的基于内容的注意力机制提升了对语义相似但错误答案的区分能力。
• 该模型识别并聚合段落间一致答案的能力，显著提升了两个基准数据集上的 F1 和 EM 分数。