[论文解读] Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning

Lifu Huang, Ronan Le Bras+2 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling被引用 89

一句话总结

Cosmos QA 引入一个需要超越显性文本的上下文常识推理的大规模多项选择数据集，并评估包括新的基于 BERT 的多路注意力模型在内的多种基线方法，揭示机器与人类表现之间的显著差距。

ABSTRACT

Understanding narratives requires reading between the lines, which in turn, requires interpreting the likely causes and effects of events, even when they are not mentioned explicitly. In this paper, we introduce Cosmos QA, a large-scale dataset of 35,600 problems that require commonsense-based reading comprehension, formulated as multiple-choice questions. In stark contrast to most existing reading comprehension datasets where the questions focus on factual and literal understanding of the context paragraph, our dataset focuses on reading between the lines over a diverse collection of people's everyday narratives, asking such questions as "what might be the possible reason of ...?", or "what would have happened if ..." that require reasoning beyond the exact text spans in the context. To establish baseline performances on Cosmos QA, we experiment with several state-of-the-art neural architectures for reading comprehension, and also propose a new architecture that improves over the competitive baselines. Experimental results demonstrate a significant gap between machine (68.4%) and human performance (94%), pointing to avenues for future research on commonsense machine comprehension. Dataset, code and leaderboard is publicly available at https://wilburone.github.io/cosmos.

研究动机与目标

• 激发对需要超越显性文本片段的上下文常识推理的阅读理解研究。
• 提供具有多样日常叙事的大规模基准（Cosmos QA），以研究因果关系、反事实和社会常识。
• 评估最先进的 MRC 模型并提出针对上下文常识推理的定制体系结构。

提出的方法

• 用来自博客叙事的 35,588 组题目构建 Cosmos QA，并验证人工生成的问题与答案。
• 将任务表述为多项选择题，对不可回答的情况设置 None-of-the-above。
• 在 Cosmos QA 上对预训练模型进行微调（特别是 BERT），并对比包括传统 MRC 模型和基于 GPT 的方法在内的基线。
• 提出一种带有多路注意力的 BERT 变体，建模段落、问题与候选答案之间的交互。
• 定义一个训练目标，在四个候选答案上使用 softmax，并配合交叉熵损失。
• 通过在相关数据集（RACE、SWAG）上进行知识迁移的微调，然后在 Cosmos 上评估来进行迁移学习实验。

实验结果

研究问题

• RQ1 现有阅读理解模型在需要上下文常识推理的问题上表现如何？
• RQ2 在段落、问题和答案之间加入多路注意力是否能提升 Cosmos QA 的表现？
• RQ3 在相关数据集（RACE、SWAG）上进行微调对 Cosmos QA 的表现有何影响？
• RQ4 正确的 Cosmos QA 答案在上下文段落中未明确陈述的情况有多频繁？哪些类型的常识推理最具挑战性？

主要发现

• Cosmos QA 的最佳模型达到 68.4% 的测试准确率，而人类表现为 94.0%。
• 大多数正确答案（超过 83%）并未在段落中明确给出，凸显了对上下文常识推理的需求。
• 基于 BERT 的多路注意力模型在标准 BERT 微调基础上有提升（测试集从 67.1% 提升至 68.4%）。
• 在预训练语言模型基础上进行微调即可超越传统的阅读理解模型，取得显著优势。
• 知识迁移方面：直接从 RACE 的迁移效果优于 SWAG；先在 SWAG 上进行顺序微调再到 Cosmos 能获得强劲提升。
• 消融实验显示去除 P、Q、A 的交互会降低性能；若消融问答，则问题贡献较少，表明对上下文的鲁棒依赖性。