[论文解读] Don't Blame the Annotator: Bias Already Starts in the Annotation Instructions

Mihir Parmar, Swaroop Mishra+2 more|arXiv (Cornell University)|May 1, 2022

Topic Modeling被引用 6

一句话总结

本文识别出一种名为'指令偏差'的新型数据偏差，其源于众包NLU基准构建过程中标注指令的模式。通过对14个基准的分析，作者发现指令示例中存在重复的语用模式（例如'它叫什么...'），这些模式被标注者系统性地模仿，导致在训练数据中过度代表，从而使模型过度拟合于这些模式而非底层任务，进而导致性能估计被高估且泛化能力下降。

ABSTRACT

In recent years, progress in NLU has been driven by benchmarks. These benchmarks are typically collected by crowdsourcing, where annotators write examples based on annotation instructions crafted by dataset creators. In this work, we hypothesize that annotators pick up on patterns in the crowdsourcing instructions, which bias them to write many similar examples that are then over-represented in the collected data. We study this form of bias, termed instruction bias, in 14 recent NLU benchmarks, showing that instruction examples often exhibit concrete patterns, which are propagated by crowdworkers to the collected data. This extends previous work (Geva et al., 2019) and raises a new concern of whether we are modeling the dataset creator's instructions, rather than the task. Through a series of experiments, we show that, indeed, instruction bias can lead to overestimation of model performance, and that models struggle to generalize beyond biases originating in the crowdsourcing instructions. We further analyze the influence of instruction bias in terms of pattern frequency and model size, and derive concrete recommendations for creating future NLU benchmarks.

研究动机与目标

• 调查NLU基准中的标注指令是否包含可被标注者轻易识别并模仿的重复性语言模式。
• 检验这些模式在多大程度上从指令示例传播至最终收集的数据集中。
• 评估指令偏差对模型性能与泛化能力的影响。
• 为未来基准构建提供可操作的建议以减少指令偏差。

提出的方法

• 分析14个近期NLU基准中其标注指令内的重复语言模式。
• 量化这些模式在指令示例及最终训练/测试集中的出现频率。
• 在包含与不包含指令模式的数据子集上分别微调BART模型，以测量性能差异。
• 通过受控调查，让NLP研究生在有或无示例的情况下比较语言模式多样性。
• 使用统计分析方法，关联指令模式频率与模型性能差距。
• 提出设计指令模板的建议，以最小化偏差传播。

实验结果

研究问题

• RQ1 众包NLU基准的标注指令是否包含标注者可轻易察觉并模仿的重复性语言模式？
• RQ2 这些模式在多大程度上传播至最终收集的数据集中？
• RQ3 指令偏差如何影响模型性能，特别是导致性能高估与泛化失败？
• RQ4 模型规模在多大程度上影响其对指令偏差的敏感性？
• RQ5 未来基准构建中可采用哪些设计原则来减少指令偏差？

主要发现

• 在14个基准中，指令示例的平均73%表现出清晰且重复的语言模式。
• 这些模式被传播至收集的数据中，平均覆盖61%的训练实例。
• 在模式匹配示例上的性能显著高于非模式示例，测试集上平均差距分别为27.9%（基础模型）和22.2%（大模型）。
• 在某些数据集（如MultiRC）中，模式与非模式示例之间的性能差距高达45.9%。
• 与未提供示例的情况相比，提供指令示例会使模式频率最高提升300%，显著降低语言多样性。
• 大模型对指令偏差的敏感性较低，但仍无法超越指令中出现的模式进行泛化。