[论文解读] Human vs. Muppet: A Conservative Estimate of Human Performance on the GLUE Benchmark

Nikita Nangia, Samuel R. Bowman|arXiv (Cornell University)|May 24, 2019

Topic Modeling被引用 5

一句话总结

本文通过仅接受极少训练的众包工作者，为GLUE基准提供了保守的人类性能基线，平均得分为87.1，超过BERT（80.5）和BigBird（83.9）在九项任务中的六项。尽管如此，性能差距仍较窄，凸显了进一步提升的潜力有限，并突显了神经模型在低资源学习中的挑战。

ABSTRACT

The GLUE benchmark (Wang et al., 2019b) is a suite of language understanding tasks which has seen dramatic progress in the past year, with average performance moving from 70.0 at launch to 83.9, state of the art at the time of writing (May 24, 2019). Here, we measure human performance on the benchmark, in order to learn whether significant headroom remains for further progress. We provide a conservative estimate of human performance on the benchmark through crowdsourcing: Our annotators are non-experts who must learn each task from a brief set of instructions and 20 examples. In spite of limited training, these annotators robustly outperform the state of the art on six of the nine GLUE tasks and achieve an average score of 87.1. Given the fast pace of progress however, the headroom we observe is quite limited. To reproduce the data-poor setting that our annotators must learn in, we also train the BERT model (Devlin et al., 2019) in limited-data regimes, and conclude that low-resource sentence classification remains a challenge for modern neural network approaches to text understanding.

研究动机与目标

• 通过非专家众包工作者，建立GLUE基准上人类性能的可靠、保守估计。
• 评估神经模型在句子理解任务上超越人类性能的剩余潜力。
• 评估有限训练数据对BERT性能的影响，特别是在低资源设置下的表现。
• 探究为何某些任务（如WNLI）尽管人类表现优异，仍对神经模型构成挑战。

提出的方法

• 众包工作者在标注测试集的随机子集前，仅接受简要说明和每项任务20个示例以学习任务内容。
• 每个样本由五名标注者标注，人类性能得分通过多数投票结果计算。
• 将人类性能与在完整训练集上微调的BERT和BigBird模型进行比较，差异以差值（delta）形式报告。
• 在减少的数据设置（5k、1k、500个样本）下进行了额外的BERT微调实验，以评估低资源性能。
• 使用标准GLUE指标评估性能：准确率、F1值、马修斯相关系数，以及皮尔逊/斯皮尔曼相关系数。
• 对具有五方标注者一致同意的样本子集进行分析，以评估人类可靠性及模型在高一致度样本上的表现。

实验结果

研究问题

• RQ1 人类在GLUE基准上的表现与BERT和BigBird等先进神经模型相比如何？
• RQ2 在GLUE任务上，人类与机器性能之间尚存多少提升空间？
• RQ3 当BERT在有限训练数据上微调时，其性能如何下降？这对低资源NLP意味着什么？
• RQ4 为何某些任务（如WNLI）尽管人类表现优异，仍对神经模型构成挑战？
• RQ5 模糊或不精确的标注指南在多大程度上影响MRPC和QQP等任务上的人类与模型表现？

主要发现

• 人类在完整GLUE基准上的平均得分为87.1，超过BERT的80.5和BigBird的83.9。
• 在九项任务中的六项上，众包工作者的表现优于BERT和BigBird，包括SST-2（97.8 vs. 94.9）、QNLI（91.2 vs. 92.7）和RTE（93.6 vs. 70.1）。
• 在低资源设置下，BERT性能显著下降：仅使用500个训练样本时，CoLA得分为68.5，MRPC得分为37.2，低于人类表现。
• BERT与人类之间的性能差距在CoLA（Δ = 6.6）、MRPC（Δ = 5.9）、QQP（Δ = 5.1）和WNLI（Δ = 30.8）上扩大，表明BERT在需要细致理解的任务上表现吃力。
• 在五方标注者一致同意的样本子集中，人类在CoLA上的表现达到93.7，在WNLI上达到97.5，而BERT分别得分为83.5和59.3，表明BERT在高一致度、高难度样本上表现失败。
• BigBird在大多数任务上优于BERT，尤其在RTE任务上（95.8* vs. 70.1），表明多任务微调在低数据环境下具有优势。