[论文解读] Embracing data abundance: BookTest Dataset for Reading Comprehension

Ondřej Bajgar, Rudolf Kadlec+1 more|arXiv (Cornell University)|Oct 4, 2016

Topic Modeling参考文献 27被引用 56

一句话总结

本文提出 BookTest，一个比儿童读物测试（Children’s Book Test, CBT）大60倍的阅读理解数据集，使更鲁棒模型的训练成为可能。通过在 BookTest 上训练 Attention-Sum Reader 模型，作者在 CBT 上实现了相较于先前模型架构改进的 14.8% 准确率提升，其集成模型在命名实体 CBT 子集上超过 Facebook 的人类基准，而人工评估也证实仍存在改进空间。

ABSTRACT

There is a practically unlimited amount of natural language data available. Still, recent work in text comprehension has focused on datasets which are small relative to current computing possibilities. This article is making a case for the community to move to larger data and as a step in that direction it is proposing the BookTest, a new dataset similar to the popular Children's Book Test (CBT), however more than 60 times larger. We show that training on the new data improves the accuracy of our Attention-Sum Reader model on the original CBT test data by a much larger margin than many recent attempts to improve the model architecture. On one version of the dataset our ensemble even exceeds the human baseline provided by Facebook. We then show in our own human study that there is still space for further improvement.

研究动机与目标

• 为解决尽管存在大量自然语言语料，但在文本理解研究中大规模数据仍被低估利用的问题。
• 提出一个显著更大的新数据集——BookTest，以实现丰富数据的训练，模拟现实世界中的数据丰裕。
• 证明仅通过数据规模即可在较小数据集上带来比架构创新更大的性能提升。
• 评估在更大、相关数据上训练的模型是否能有效泛化到标准基准（如 CBT）。
• 通过针对性的人工研究，探究当前最先进模型与人类表现之间的差距。

提出的方法

• BookTest 数据集采用与 CBT 类似的方法构建，从大量儿童读物语料中生成完形填空式问题。
• 该数据集包含超过 1400 万个样本，比原始 CBT 数据集大逾 60 倍。
• 在 BookTest 数据上训练 Attention-Sum Reader 模型，并在标准 CBT 测试集上进行评估。
• 该模型利用注意力机制，在预测答案时关注上下文文档的相关部分。
• 通过构建模型集成以提升泛化能力和鲁棒性，尤其在具有挑战性的样本上。
• 通过人工研究评估 100 个此前被模型误判的 CBT 问题（50 个命名实体，50 个普通名词），以评估剩余的性能差距。

实验结果

研究问题

• RQ1 在比 CBT 大 60 倍的数据集上进行训练，是否能带来远超在原始 CBT 数据上通过架构改进所获得的性能提升？
• RQ2 尽管存在领域偏移，但在更大、相关数据集（BookTest）上进行训练，是否能提升在标准 CBT 基准上的泛化能力？
• RQ3 在 BookTest 上训练的模型是否能超越 Facebook 在 CBT 命名实体子集上报告的人类表现基线？
• RQ4 在 CBT 数据集上，当前最先进模型与人类表现之间仍存在多大差距？
• RQ5 是否存在人类能正确回答但当前模型无法回答的样本，表明仍有进一步改进的空间？

主要发现

• 在 BookTest 上训练使 Attention-Sum Reader 模型在 CBT 测试集上的准确率提升了 14.8%，远超在原始 CBT 数据上通过架构改进所获得的 2.1% 提升。
• 在 BookTest 上训练的模型集成在 CBT 命名实体版本上超过了 Facebook 报告的人类表现基线。
• 在 CBT 普通名词版本上，模型准确率超过 96%，表明在该子集上表现强劲。
• 人工研究显示，此前被模型误判的 66% 命名实体问题和 82% 普通名词问题，人类能正确回答，表明仍存在性能差距。
• 结合模型与人类预测的系统在命名实体验证集和测试集上准确率可超过 92%，在普通名词集上可超过 96%，表明仍有持续改进的潜力。