[论文解读] Multi-Perspective Context Matching for Machine Comprehension

Zhiguo Wang, Haitao Mi+2 more|arXiv (Cornell University)|Dec 13, 2016

Topic Modeling参考文献 19被引用 115

一句话总结

本文提出 Multi-Perspective Context Matching (MPCM) 模型，用于 SQuAD 上的抽取式机器阅读理解，通过从多种视角将 passage 文本与问题进行匹配，并使用 BiLSTMs 进行聚合来预测答案区间。

ABSTRACT

Previous machine comprehension (MC) datasets are either too small to train end-to-end deep learning models, or not difficult enough to evaluate the ability of current MC techniques. The newly released SQuAD dataset alleviates these limitations, and gives us a chance to develop more realistic MC models. Based on this dataset, we propose a Multi-Perspective Context Matching (MPCM) model, which is an end-to-end system that directly predicts the answer beginning and ending points in a passage. Our model first adjusts each word-embedding vector in the passage by multiplying a relevancy weight computed against the question. Then, we encode the question and weighted passage by using bi-directional LSTMs. For each point in the passage, our model matches the context of this point against the encoded question from multiple perspectives and produces a matching vector. Given those matched vectors, we employ another bi-directional LSTM to aggregate all the information and predict the beginning and ending points. Experimental result on the test set of SQuAD shows that our model achieves a competitive result on the leaderboard.

研究动机与目标

• 激发对真实、大规模多项选择评估数据（SQuAD）和端到端建模的需求。
• 提出一个端到端的 MPCM 模型，直接预测答案起点和终点。
• 证明多视角匹配相对于基线能提升区间定位效果。
• 展示消融实验结果以识别 MPCM 架构中的关键组成部分。

提出的方法

• 使用固定词向量（GloVe）和字符组合嵌入的词表示。
• 对 passage 单词按问题相关性 r_j 进行再加权的筛选层。
• 基于 BiLSTM 的问题与 passage 上下文表征。
• 具有 l 个视角和多种策略（full、maxpooling、meanpooling）的多视角上下文匹配层。
• 使用 BiLSTM 的聚合层将匹配向量融合。
• 预测层具有两个独立的 softmax 头用于 a_b 与 a_e，以获得 Pr(a_b|Q,P) 与 Pr(a_e|Q,P)。

实验结果

研究问题

• RQ1 相对于当代方法，MPCM 模型在 SQuAD 测试集上的竞争力如何？
• RQ2 多视角匹配方法是否提升了对问题敏感的 passage 表征以及区间预测？
• RQ3 视角数量（l）对性能有何影响？
• RQ4 MPCM 架构中哪些组件对性能贡献最大（消融分析）？

主要发现

模型	EM	F1
Logistic Regression	40.4	51.0
Match-LSTM (Sequence)	54.5	67.7
Match-LSTM (Boundary)	60.5	70.7
Dynamic Chunk Reader	62.5	71.0
Match-LSTM with Bi-Ptr	64.7	73.7
MPCM (Ours)	65.5	75.1
Dynamic Coattention	66.2	75.9
BiDAF	68.0	77.3
r-net	69.5	77.9
Fine-Grained Gating	62.5	73.3
Match-LSTM (Boundary)	67.9	77.0
MPCM (Ours)	68.2	77.2
Dynamic Coattention	71.6	80.4
BiDAF	73.3	81.1
r-net	74.5	82.0

• 单一 MPCM 在 SQuAD 测试集上达到 EM 65.5 和 F1 75.1。
• 集成 MPCM 提升至 EM 68.2 和 F1 77.2。
• MPCM 与若干基线相比具有竞争力（如 BiDAF EM 68.0，F1 77.3； r-net EM 69.5，F1 77.9）。
• 将视角数量从 1 增加到 50 可带来性能提升（EM 60.7→66.1，F1 71.7→75.8）。
• 消融结果显示聚合层及某些匹配策略对性能至关重要。
• 层级消融显示移除任何关键组件都会降低结果，聚合在其中尤为重要。