[论文解读] Machine Comprehension Using Match-LSTM and Answer Pointer

Shuohang Wang, Jing Jiang|arXiv (Cornell University)|Aug 29, 2016

Topic Modeling参考文献 18被引用 414

一句话总结

该论文提出两种端到端的神经网络架构，结合 match-LSTM 和 Pointer Network 来解决 SQuAD 风格的机器理解，取得强劲的 exact-match 和 F1 分数，并超过基于特征工程的基线。模型集成在 SQuAD 测试集上获得最佳结果。

ABSTRACT

Machine comprehension of text is an important problem in natural language processing. A recently released dataset, the Stanford Question Answering Dataset (SQuAD), offers a large number of real questions and their answers created by humans through crowdsourcing. SQuAD provides a challenging testbed for evaluating machine comprehension algorithms, partly because compared with previous datasets, in SQuAD the answers do not come from a small set of candidate answers and they have variable lengths. We propose an end-to-end neural architecture for the task. The architecture is based on match-LSTM, a model we proposed previously for textual entailment, and Pointer Net, a sequence-to-sequence model proposed by Vinyals et al.(2015) to constrain the output tokens to be from the input sequences. We propose two ways of using Pointer Net for our task. Our experiments show that both of our two models substantially outperform the best results obtained by Rajpurkar et al.(2016) using logistic regression and manually crafted features.

研究动机与目标

• 动机：提升对 SQuAD 的机器理解，其中答案是输入文本的子序列，且长度各异。
• 目标：开发端到端模型，从输入标记中生成答案，而无需繁重的特征工程。
• 目标：比较序列式和边界 Pointer Network 方法，并探索集成以提升性能。
• 背景：在 match-LSTM 用于文本蕴涵的基础上，使用 Pointer Network 从段落中选择答案片段。

提出的方法

• 采用预处理的 LSTM 对段落和问题进行编码。
• 实现带注意力的 match-LSTM 层，用于将段落标记对齐到问题。
• 使用基于 Pointer Networks 的 Answer Pointer 层从段落中提取答案标记。
• 两种答案生成模式：(i) 产生可变长度标记序列的序列模型，(ii) 预测一个片段的起始位置和结束位置的边界模型。
• 可选增强：跨度搜索（限制为最多 15 个标记的跨度）和双向处理（Bi-Ans-Ptr）。
• 集成方法：将来自多个边界模型的概率合并以选择最佳跨度。

实验结果

研究问题

• RQ1 使用 match-LSTM 和 Pointer Networks 的端到端神经模型是否能够准确定位并从段落中提取符合 SQuAD 风格问题的答案跨度？
• RQ2 对于该任务，基于边界的输出（起始/结束跨度）是否比标记序列更有效？
• RQ3 添加搜索、双向处理或集成方法是否能提高在 SQuAD 上的表现？

主要发现

模型	精确匹配（Dev）	精确匹配（Test）	F1（Dev）	F1（Test）
Logistic Regression	40.0	40.4	51.0	51.0
DCR	62.5	62.5	71.2	71.0
Match-LSTM with Ans-Ptr (Sequence)	150	-	68.2	-
Match-LSTM with Ans-Ptr (Boundary)	61.1	-	71.2	-
Match-LSTM with Ans-Ptr (Boundary+Search)	63.0	-	72.7	-
Match-LSTM with Ans-Ptr (Boundary+Search) (l=300)	63.1	-	72.7	-
Match-LSTM with Ans-Ptr (Boundary+Search+b)	64.1	64.7	73.9	73.7
Match-LSTM with Boundary+Search+en	67.6	67.9	76.8	77.0

• 带有搜索的边界模型在 exact-match 和 F1 指标上优于序列模型。
• 将边界模型进行集成在开发集和测试集上取得最佳表现。
• 在测试集上，Boundary+Search+en 模型达到 67.9% 的 exact-match 和 77.0% 的 F1。
• 单模型：Boundary+Search 在开发数据上实现 63.0% EM 和 72.7% F1，较大 L 及双向变体带来边际提升。
• 相较于特征工程的逻辑回归基线，神经模型显著提升了性能（例如，开发集/测试集 EM 40.0–67.9%，F1 51.0–77.0%）。
• 作者提供定性分析，展示注意力对齐以及按问题类型和答案长度的变动。