[论文解读] Asking Crowdworkers to Write Entailment Examples: The Best of Bad Options

Clara Vania, Ruijie Chen+1 more|arXiv (Cornell University)|Oct 13, 2020

Topic Modeling参考文献 43被引用 8

一句话总结

本文评估了两种自动化方法——句子相似度与机器翻译——用于生成自然语言推理（NLI）假设对，以替代人工标注员编写的假设。尽管降低了标注成本并增加了数据量，但两种方法在NLI和迁移学习性能方面均逊于标准的MNLI风格基于写作的协议，结论是人工编写的假设仍是当前获取高质量NLI数据的最佳选择。

ABSTRACT

Large-scale natural language inference (NLI) datasets such as SNLI or MNLI have been created by asking crowdworkers to read a premise and write three new hypotheses, one for each possible semantic relationships (entailment, contradiction, and neutral). While this protocol has been used to create useful benchmark data, it remains unclear whether the writing-based annotation protocol is optimal for any purpose, since it has not been evaluated directly. Furthermore, there is ample evidence that crowdworker writing can introduce artifacts in the data. We investigate two alternative protocols which automatically create candidate (premise, hypothesis) pairs for annotators to label. Using these protocols and a writing-based baseline, we collect several new English NLI datasets of over 3k examples each, each using a fixed amount of annotator time, but a varying number of examples to fit that time budget. Our experiments on NLI and transfer learning show negative results: None of the alternative protocols outperforms the baseline in evaluations of generalization within NLI or on transfer to outside target tasks. We conclude that crowdworker writing still the best known option for entailment data, highlighting the need for further data collection work to focus on improving writing-based annotation processes.

研究动机与目标

• 探究自动化方法生成NLI假设对是否能在数据质量上超越人工标注员编写的假设。
• 评估在固定标注预算下，无写作数据收集协议的成本效益与泛化性能。
• 确定自动化生成是否减少了标注中的偏差或引入了新的偏差。
• 评估自动化生成的NLI数据对下游迁移学习任务的影响。
• 确定数据收集的改进应聚焦于优化人工生成流程，还是探索替代的自动化管道。

提出的方法

• 提出两种替代协议：(1) 基于句子相似度的配对方法，使用FAISS与RoBERTa嵌入；(2) 基于翻译的生成方法，使用多语言mBART与OPUS平行语料库。
• 使用与基线相同的前提来源，收集了五个新的NLI数据集——两个来自Gigaword（新闻），两个来自Wikipedia（维基），一个来自WikiMatrix。
• 标注员对预先生成的（前提，假设）对进行标注，判断其为蕴含、矛盾或中性关系，无需自行编写假设。
• 采用固定标注预算（约15美元/小时）以比较数据效率，每种协议收集的样本数量约为基于写作的基线的两倍。
• 在每个数据集上训练并评估NLI模型，以检验泛化能力与迁移学习性能，使用MNLI和GLUE等标准基准。
• 通过多轮试点与调优，优化配对质量后才进行最终数据收集。

实验结果

研究问题

• RQ1 用自动生成的假设对替代人工标注员编写的假设，是否能提升NLI模型的泛化性能？
• RQ2 自动化数据收集协议能否生成比MNLI风格基于写作的基线泛化能力更强的NLI数据集？
• RQ3 与人工编写的假设相比，自动生成的NLI假设对是否减少了或引入了新的标注偏差？
• RQ4 自动化协议带来的数据量增加，是否足以抵消下游迁移学习任务中潜在的质量下降？
• RQ5 完全自动化的数据管道是否能在数据质量与模型性能方面超越人工生成？

主要发现

• 基于写作的MNLI协议在NLI泛化性能上始终优于两种自动化协议，在标准基准上存在显著性能差距。
• 在GLUE及其他下游任务中，使用自动化生成数据训练的模型，其迁移学习性能劣于使用人工编写数据训练的模型。
• 基于句子相似度的协议（Sim）与基于翻译的协议（Translate）生成的数据集，其模型准确率与泛化能力均低于基线。
• 尽管由于每例标注时间更短，自动化方法收集的样本数量约为基线的两倍，但并未带来更好的模型性能。
• 未发现自动化方法能减少标注偏差；事实上，基于此类数据训练的模型更容易学习到虚假模式。
• 本研究结论为：尽管存在诸如标注偏差等已知问题，人工标注员编写的假设仍是当前获取NLI数据的最佳方法。