[论文解读] A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task

Danqi Chen, Jason Bolton+1 more|arXiv (Cornell University)|Jun 9, 2016

Topic Modeling参考文献 16被引用 128

一句话总结

本论文分析 CNN/Daily Mail 阅读理解任务，并显示简单、设计良好的系统可达到最先进的结果（在 Daily Mail 上最高达 76.6%），并认为该任务比之前认为的更容易，大多数问题可通过单句推理解决。

ABSTRACT

Enabling a computer to understand a document so that it can answer comprehension questions is a central, yet unsolved goal of NLP. A key factor impeding its solution by machine learned systems is the limited availability of human-annotated data. Hermann et al. (2015) seek to solve this problem by creating over a million training examples by pairing CNN and Daily Mail news articles with their summarized bullet points, and show that a neural network can then be trained to give good performance on this task. In this paper, we conduct a thorough examination of this new reading comprehension task. Our primary aim is to understand what depth of language understanding is required to do well on this task. We approach this from one side by doing a careful hand-analysis of a small subset of the problems and from the other by showing that simple, carefully designed systems can obtain accuracies of 73.6% and 76.6% on these two datasets, exceeding current state-of-the-art results by 7-10% and approaching what we believe is the ceiling for performance on this task.

研究动机与目标

• 评估由 CNN/CNN Daily Mail 文章构成的 CNN/Daily Mail RC 任务的难度及要点摘要。
• 弄清在这些数据集上表现良好所需的语言理解能力。
• 开发并评估简单特征基与神经网络模型，以确立性能的下限与上限。
• 诊断数据质量问题（共指错误、去标识化）及其对模型性能的影响。

提出的方法

• 实现一个以实体为中心的基于特征的分类器，以及一个受 AttentiveReader 启发的端到端神经网络。
• 使用双线性注意力机制计算问题与段落上下文嵌入之间的相关性。
• 用对候选实体的 softmax 训练并优化负对数似然。
• 通过首次出现重新标注实体标记，以提高训练效率和性能。
• 与基于窗口的记忆网络和先前的 RC 模型进行对比，以评估任务难度与天花板性能。

实验结果

研究问题

• RQ1 在 CNN/Daily Mail RC 任务上需要达到何种自然语言理解水平才能表现良好？
• RQ2 简单的传统 NLP 特征是否与神经模型在该数据集上具有竞争力？
• RQ3 考虑数据集构造及共指/去标识化问题，性能的上限是多少？
• RQ4 模型预测在按问题类型和语言现象（改写、严格匹配、共指错误）分解时有何特征？

主要发现

模型	CNN 开发集	CNN 测试集	Daily Mail 开发集	Daily Mail 测试集
Frame-semantic model	36.3	40.2	35.5	35.5
Word distance model	50.5	50.9	56.4	55.5
Deep LSTM Reader	55.0	57.0	63.3	62.2
Attentive Reader	61.6	63.0	70.5	69.0
Impatient Reader	61.8	63.8	69.0	68.0
MemNNs (window memory)	58.0	60.6	N/A	N/A
MemNNs (window memory + self-sup.)	63.4	66.8	N/A	N/A
MemNNs (ensemble)	66.2	69.4	N/A	N/A
Ours: Classifier	67.1	67.9	69.1	68.3
Ours: Neural net	72.5	72.7	76.9	76.0
Ours: Neural net (ensemble)	76.2	77.6	79.5	78.7
Ours: Neural net (relabeling)	73.8	73.6	77.6	76.6
Ours: Neural net (relabeling, ensemble)	77.2	77.6	80.2	79.2

• 一个传统的基于特征的分类器在 CNN 测试集上取得 67.9% 的准确率，超过了以往的符号基线和许多神经基线。
• 一个类似 AttentiveReader 的神经模型在未重新标注的情况下达到 72.5%（CNN）和 76.9%（Daily Mail）；重新标注后提升至 73.6%（CNN）和 76.6%（Daily Mail）。
• 对五个模型的集成进一步提升，在 Daily Mail 上达到 79.2%，在 CNN 上达到 80.2%（重新标注的集成）。
• 特征消融显示 n-gram 匹配和实体频率是分类器中最具影响力的特征。
• 按类别的分析表明，严格匹配的问题对两种系统都较为简单，而改写与部分线索的问题对神经模型的提升更大；共指错误和困难/模糊情况将上限性能限制在大约 75%–80%。
• 作者认为该任务在很大程度上简化为单句推理，少量多句推理的情况有限，当前系统在明确无歧义的情况下接近性能上限。