[论文解读] Cross-Task Generalization via Natural Language Crowdsourcing Instructions

Swaroop Mishra, Daniel Khashabi+2 more|arXiv (Cornell University)|Apr 18, 2021

Mobile Crowdsensing and Crowdsourcing被引用 5

一句话总结

本文介绍了 Natural Instructions，这是一个大规模数据集，包含61个NLP任务的真人撰写的、众包生成的指令及输入输出对，旨在研究跨任务泛化。通过在任务指令和输入上微调生成式语言模型，作者展示了在未见过的任务上零样本泛化的性能提升了19%，表明指令显著提升了跨任务迁移能力，尽管模型仍远未达到理论上限。

ABSTRACT

Humans (e.g., crowdworkers) have a remarkable ability in solving different tasks, by simply reading textual instructions that define them and looking at a few examples. Despite the success of the conventional supervised learning on individual datasets, such models often struggle with generalization across tasks (e.g., a question-answering system cannot solve classification tasks). A long-standing challenge in AI is to build a model that learns a new task by understanding the human-readable instructions that define it. To study this, we introduce NATURAL INSTRUCTIONS, a dataset of 61 distinct tasks, their human-authored instructions, and 193k task instances (input-output pairs). The instructions are obtained from crowdsourcing instructions used to create existing NLP datasets and mapped to a unified schema. Using this meta-dataset, we measure cross-task generalization by training models on seen tasks and measuring generalization to the remaining unseen ones. We adopt generative pre-trained language models to encode task-specific instructions along with input and generate task output. Our results indicate that models benefit from instructions when evaluated in terms of generalization to unseen tasks (19% better for models utilizing instructions). These models, however, are far behind an estimated performance upperbound indicating significant room for more progress in this direction.

研究动机与目标

• 研究语言模型是否能仅通过学习自然语言指令来泛化到未见过的任务。
• 构建一个标准化、统一的基准，用于评估NLP中的跨任务泛化。
• 探究不同指令组成部分（如定义、示例）对模型性能的影响。
• 衡量当前模型能力与基于指令泛化的理论上限之间的差距。

提出的方法

• 作者从现有的众包数据集中收集了61个不同NLP任务的19.3万个任务实例。
• 提取并统一了人工撰写的指令，形成一致的模式，包括定义、示例和约束等字段。
• 训练了一个微调后的BART模型，通过同时依赖输入和特定任务的指令来生成输出。
• 通过在已见任务上进行训练并在未见任务上测试，评估跨任务泛化，测量零样本性能。
• 人工标注者评估了指令各组成部分的感知有用性，以验证其影响。
• 对模型预测结果进行了错误分析，识别出常见失败模式，如复制输入事实或生成无法回答的问题。

实验结果

研究问题

• RQ1 当仅在指令和输入输出对上进行监督时，语言模型能否泛化到未见过的NLP任务？
• RQ2 自然语言指令的哪些组成部分（如定义、示例）对跨任务泛化的影响最为显著？
• RQ3 与仅使用数据的标准微调相比，基于指令的训练在零样本泛化方面表现如何？
• RQ4 当前模型与基于指令泛化的理论性能上限之间存在多大的性能差距？

主要发现

• 在任务指令上进行微调的模型，在未见任务上的表现比仅在数据样本上训练的模型高出19%。
• 指令中包含定义和示例字段显著提升了模型的泛化能力，尤其在分类和最小文本修改任务中表现更优。
• 错误分析显示，模型经常复制输入事实或生成无法回答的问题，表明其在推理和指令遵循方面仍存在局限。
• 人工标注者认为定义和“应避免事项”字段最有用，这与它们对模型性能的实际影响一致。
• 尽管性能有所提升，但模型距离估计的性能上限仍有显著差距，表明基于指令的泛化在今后仍有巨大发展空间。