[论文解读] HellaSwag: Can a Machine Really Finish Your Sentence?

Rowan Zellers, Ari Holtzman+3 more|arXiv (Cornell University)|May 19, 2019

Topic Modeling参考文献 16被引用 42

一句话总结

HellaSwag 提供一个经过对抗性筛选的困难常识性 NLI 数据集，即使在广泛的预训练和微调之后，人类的准确性也远高于像 BERT 这样的最先进模型。

ABSTRACT

Recent work by Zellers et al. (2018) introduced a new task of commonsense natural language inference: given an event description such as "A woman sits at a piano," a machine must select the most likely followup: "She sets her fingers on the keys." With the introduction of BERT, near human-level performance was reached. Does this mean that machines can perform human level commonsense inference? In this paper, we show that commonsense inference still proves difficult for even state-of-the-art models, by presenting HellaSwag, a new challenge dataset. Though its questions are trivial for humans (>95% accuracy), state-of-the-art models struggle (<48%). We achieve this via Adversarial Filtering (AF), a data collection paradigm wherein a series of discriminators iteratively select an adversarial set of machine-generated wrong answers. AF proves to be surprisingly robust. The key insight is to scale up the length and complexity of the dataset examples towards a critical 'Goldilocks' zone wherein generated text is ridiculous to humans, yet often misclassified by state-of-the-art models. Our construction of HellaSwag, and its resulting difficulty, sheds light on the inner workings of deep pretrained models. More broadly, it suggests a new path forward for NLP research, in which benchmarks co-evolve with the evolving state-of-the-art in an adversarial way, so as to present ever-harder challenges.

研究动机与目标

• 促使评估对现有基准之外的鲁棒常识推理。
• 暴露预训练和微调在实现接近人类表现方面的局限性。
• 引入对抗性筛选以生成更难、对抗性策划的负例。
• 将 SWAG 与 WikiHow 和 ActivityNet 上下文结合，以多样化推理需求。
• 展示一个黄金中庸区间：生成的结尾对模型困难但对人类容易。

提出的方法

• 使用对抗性筛选逐步挑选对抗性的、机器生成的负结尾。
• 结合最先进的生成器和判别器以产生困难的负例。
• 用 WikiHow 和 ActivityNet 上下文扩展 SWAG，以增加情景长度和多样性。
• 同域内和零-shot 泛化进行评估，包括跨域迁移分析。
• 在四向 softmax 设置下比较多个基线（BERT、GPT、ESIM+ELMo、LSTM、FastText）。

实验结果

研究问题

• RQ1 现有的深度预训练模型是否能够在更具挑战性、对抗性构造的数据上实现鲁棒的、接近人类水平的常识推理？
• RQ2 上下文长度、语言结构和领域多样性如何影响模型在常识性NLI上的表现？
• RQ3 在 SWAG 上训练的模型是否能迁移到 HellaSwag，反之如何，这对通用的常识推理有何启示？
• RQ4 预训练规模和微调在解决对抗性构造的常识任务中起到的作用是什么？
• RQ5 零-shot 类别泛化和领域转移如何影响 HellaSwag 上的模型准确性？

主要发现

• 人类在 HellaSwag 上的准确率约为 95%，而强模型在 substantial 训练数据下仍低于 50%。
• BERT-Large 在模型中表现最好（约 47.3% 总体）但仍远离人类表现，并在零-shot 类别上表现困难。
• 对抗性筛选(AF) 生成的 Endings 能欺骗许多模型，但在人类看来在上下文长度的黄金中庸区（大约三句上下文和两句生成句）通常是无意义的。
• 将 SWAG 训练的模型迁移到 HellaSwag 收得有限收益（SWAG 训练的模型在 HellaSwag 验证集上得分约 34.6%），而 HellaSwag 训练的模型迁移到 SWAG 表现较差（在一个缺失域 LSMDC 任务中的准确率约 69%）。
• WikiHow 对机器来说普遍比 ActivityNet 更难，人类在 WikiHow 上约 93% 的准确率 vs Bert-Large 的 ~45%；ActivityNet 显示出人机差距较大但机器绝对表现较低。
• 研究强调需要与模型进展同步发展基准，以及接近人类水平常识推理可能需要的计算瓶颈。