[论文解读] Dual Co-Matching Network for Multi-choice Reading Comprehension

Shuailiang Zhang, Hai Zhao+4 more|arXiv (Cornell University)|Jan 27, 2019

Topic Modeling参考文献 40被引用 37

一句话总结

本文提出了 Dual Co-Matching Network (DMN)，它通过门控融合在 passage、question 与 answer 之间建模双向关系，在 RACE 和 ROCStories 上达到最先进的结果，甚至在 RACE 全数据集上超越人类表现。

ABSTRACT

Multi-choice reading comprehension is a challenging task that requires complex reasoning procedure. Given passage and question, a correct answer need to be selected from a set of candidate answers. In this paper, we propose extbf{D}ual extbf{C}o- extbf{M}atching extbf{N}etwork ( extbf{DCMN}) which model the relationship among passage, question and answer bidirectionally. Different from existing approaches which only calculate question-aware or option-aware passage representation, we calculate passage-aware question representation and passage-aware answer representation at the same time. To demonstrate the effectiveness of our model, we evaluate our model on a large-scale multiple choice machine reading comprehension dataset (i.e. RACE). Experimental result show that our proposed model achieves new state-of-the-art results.

研究动机与目标

• 激发多项选择式 MRC 的研究，并强调需要建模 passage、question 和 answer 之间的所有成对关系。
• 提出一个双向共匹配框架以捕捉 P-Q、P-A 和 Q-A 交互。
• 引入门控机制以有效融合双向表征。
• 利用 BERT 作为上下文编码器以提升表征质量。
• 展示在 RACE 与 ROCStories 数据集上的最先进性能。

提出的方法

• 用 BERT 对 passage、question 和候选答案进行编码以获得 H^p、H^q、H^a。
• 对每一对 (P,Q)、(P,A)、(Q,A) 计算双向匹配以获得 S^p、S^a 等，使用注意力 G^{xy} 和方程 (1)。
• 通过方程 (2) 使用门控机制将双向表征融合，得到 M^{p}、M^{a} 和 M^{p_a}。
• 将 M^{p_q}、M^{p_a}、M^{q_a} 级联拼接形成 C，并使用 Eq. (3) 对候选答案进行 softmax 计算最终损失。
• 使用 BertAdam 优化器进行训练，采用 dropout 并进行 10 轮微调；最大序列长度为 512。

实验结果

研究问题

• RQ1 双向的全对匹配方法是否能提升多项选择式 MRC 的准确性，相较于单向或部分对模型？
• RQ2 在此设置中，基于门控的双向表征融合是否优于简单拼接？
• RQ3 整合像 BERT 这样的强编码器在大规模 MRC 基准测试（RACE、ROCStories）上的性能影响如何？

主要发现

模型	RACE-M	RACE-H	RACE
DMN base	72.3	64.2	66.5
DMN large	77.6	70.1	72.3
DMN* large	79.5	71.8	74.1

• DMN 在 RACE 与 ROCStories 基准上达到最先进水平。
• 单个 DMN 模型表现优于先前的基线，甚至在完整的 RACE 数据集上超过了人类评测者。
• 对所有 P-Q、P-A、Q-A 对的双向匹配相较于单向匹配取得可观的增益（例如在 RACE 上提升 1.5%）。
• 门控融合双向表征比拼接获得更好的结果。
• 基于 BERT 的编码器被有效整合以提升性能，在各任务中取得显著提升。