[论文解读] Collecting Entailment Data for Pretraining: New Protocols and Negative Results.

Samuel R. Bowman, Jennimaria Palomaki+2 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 28被引用 11

一句话总结

本文提出了四种新的文本蕴涵（NLI）数据收集协议，旨在提升自然语言理解的预训练效果。尽管这些方法在提升标注便捷性并减少标注伪影方面有所改进——尤其是使用种子句时——但在迁移性能方面，所有新方法均未超越标准的MNLI基线，表明提升预训练数据质量的尝试未能取得正向结果。

ABSTRACT

Textual entailment (or NLI) data has proven useful as pretraining data for tasks requiring language understanding, even when building on an already-pretrained model like RoBERTa. The standard protocol for collecting NLI was not designed for the creation of pretraining data, and it is likely far from ideal for this purpose. With this application in mind, we propose four alternative protocols, each aimed at improving either the ease with which annotators can produce sound training examples or the quality and diversity of those examples. Using these alternatives and a simple MNLI-based baseline, we collect and compare five new 8.5k-example training sets. Our primary results are solidly negative, with our baseline MNLI-style dataset yielding good transfer performance, but none of our four new methods (nor the recent ANLI) showing any improvements on that baseline. However, we do observe that all four of these interventions, especially the use of seed sentences for inspiration, reduce previously observed issues with annotation artifacts.

研究动机与目标

• 设计专为预训练语言模型优化的改进型文本蕴涵（NLI）数据收集协议。
• 减少在高资源设置下常见于NLI数据收集中的标注伪影。
• 评估替代性数据收集方法是否能实现优于标准MNLI风格协议的泛化能力。
• 评估种子句和结构化提示对标注质量与多样性的影响。
• 确定近期基准如ANLI在用于预训练时是否优于标准MNLI。

提出的方法

• 设计了四种替代性NLI数据收集协议，每种均聚焦于提升标注清晰度、多样性或使用便捷性。
• 每种协议采用不同策略：(1) 直接句子对，(2) 带模板的句子对，(3) 使用种子句提供灵感，(4) 带约束的结构化提示。
• 所有协议均用于收集五个新的8.5k样本NLI数据集，每个数据集均基于RoBERTa-based的MNLI风格基线进行训练与评估。
• 通过在下游NLU任务（包括RTE、SNLI和文本相似性基准）上的零样本迁移性能，对数据集进行比较。
• 在协议间测量并比较了标注伪影，特别关注可能引发模型捷径学习的模式。
• 评估还包含与近期ANLI基准的对比，以评估其相对于新协议的性能表现。

实验结果

研究问题

• RQ1 与标准MNLI协议相比，替代性NLI数据收集协议是否能提升下游迁移性能？
• RQ2 新协议在多大程度上减少了损害模型泛化能力的标注伪影？
• RQ3 使用种子句作为灵感是否能带来更高质量或更多样化的蕴涵样本？
• RQ4 结构化提示与基于模板的方法是否能提升标注的一致性与质量？
• RQ5 当用于预训练时，ANLI基准是否优于标准MNLI风格数据？

主要发现

• 标准MNLI风格数据集在所有评估数据集中表现最佳，包括新协议生成的数据集和ANLI。
• 所有四种新协议均减少了以往观察到的标注伪影，其中种子句方法在减少虚假模式方面改善最为显著。
• 尽管标注质量提升且伪影减少，但新协议在下游迁移性能上均未带来可测量的增益。
• 使用种子句显著提升了标注者的一致性，并减少了对表面线索的依赖，表明更符合语义推理。
• 尽管ANLI基准设计用于更难的样本，但在本预训练背景下，其表现并未超越标准MNLI基线。
• 结果表明，当前NLI数据收集协议可能已接近预训练的最优状态，进一步优化带来的收益递减。