[论文解读] A Co-Matching Model for Multi-choice Reading Comprehension

Shuohang Wang, Mo Yu+2 more|arXiv (Cornell University)|Jun 11, 2018

Topic Modeling参考文献 16被引用 26

一句话总结

本文提出了一种用于多项选择阅读理解的联合匹配模型，通过双注意力机制联合对齐篇章与问题及候选答案。通过构建编码篇章、问题与答案之间同时交互的联合匹配状态，并应用层次LSTM进行上下文聚合，该模型在RACE数据集上实现了最先进性能，相较于先前方法提升3个百分点。

ABSTRACT

Multi-choice reading comprehension is a challenging task, which involves the matching between a passage and a question-answer pair. This paper proposes a new co-matching approach to this problem, which jointly models whether a passage can match both a question and a candidate answer. Experimental results on the RACE dataset demonstrate that our approach achieves state-of-the-art performance.

研究动机与目标

• 解决多项选择阅读理解中的挑战，即答案需要超越抽取式匹配的推理能力。
• 克服成对匹配（如仅篇章-问题或篇章-答案）的局限性，避免损失问题与答案之间的交互信息。
• 提升RACE数据集上的性能，该数据集包含需要跨多个句子进行推理的复杂非抽取式问题。
• 以统一、上下文感知的方式建模问题与候选答案对篇章上下文的联合相关性。

提出的方法

• 模型为每个篇章位置分别计算两个注意力加权向量：一个来自问题，一个来自候选答案。
• 构建两个匹配表征：一个用于篇章-问题对齐，一个用于篇章-答案对齐，在每个篇章位置形成联合匹配状态。
• 在联合匹配状态序列上应用层次LSTM，实现从词级到句级再到文档级的信息聚合。
• 模型采用联合匹配机制，显式建模问题与答案在篇章关系中的交互，避免拼接操作可能造成的信息结构损失。
• 最终表征用于计算候选答案的得分，通过选择得分最高的候选答案进行答案选择。
• 模型采用端到端训练方式，使用候选答案上的交叉熵损失函数进行优化。

实验结果

研究问题

• RQ1 联合建模篇章-问题与篇章-答案匹配是否能提升多项选择阅读理解任务的性能？
• RQ2 保留问题与答案之间交互信息的联合匹配机制，相较于顺序或拼接式匹配策略有何优势？
• RQ3 对联合匹配状态进行层次聚合在长而复杂的篇章上是否显著增强推理能力？
• RQ4 该模型在不同题型（如代词指代、推理题或陈述-理由题）上是否具备良好的泛化能力？
• RQ5 联合匹配机制与层次建模在整体性能提升中的贡献分别有多大？

主要发现

• 所提出的Hier-Co-Matching模型在RACE数据集上实现了最先进性能，相较于先前最先进方法提升3个百分点。
• 消融实验表明，当用问题与答案的简单拼接替代联合匹配模块时，性能下降4个百分点，证实了该模块的重要性。
• 当用标准两层LSTM替代层次LSTM（在完整篇章上）时，性能下降2个百分点，表明层次上下文聚合具有显著价值。
• 模型在不同题型上表现稳定，'true'型陈述-理由题准确率为51%，'not'型否定题准确率为52%。
• 在代词指代题上，模型达到49.8%的准确率，优于基线方法（47.9%），表明其在核心指代处理方面具有改进能力。