[论文解读] MetaICL: Learning to Learn In Context

Sewon Min, Michael Lewis+2 more|arXiv (Cornell University)|Oct 29, 2021

Topic Modeling被引用 61

一句话总结

MetaICL 通过对多样化任务集合进行元训练，在上下文中训练语言模型以学习任务，从而在未见任务上实现少样本学习，无需参数更新或专门的任务模板。它通常与有监督微调相媲美甚至超越，并且优于更大规模的模型。

ABSTRACT

We introduce MetaICL (Meta-training for In-Context Learning), a new meta-training framework for few-shot learning where a pretrained language model is tuned to do in-context learning on a large set of training tasks. This meta-training enables the model to more effectively learn a new task in context at test time, by simply conditioning on a few training examples with no parameter updates or task-specific templates. We experiment on a large, diverse collection of tasks consisting of 142 NLP datasets including classification, question answering, natural language inference, paraphrase detection and more, across seven different meta-training/target splits. MetaICL outperforms a range of baselines including in-context learning without meta-training and multi-task learning followed by zero-shot transfer. We find that the gains are particularly significant for target tasks that have domain shifts from the meta-training tasks, and that using a diverse set of the meta-training tasks is key to improvements. We also show that MetaICL approaches (and sometimes beats) the performance of models fully finetuned on the target task, and outperforms much bigger models with nearly 8x parameters. Finally, we show that MetaICL is complementary to human-written instructions, and the best performance can be achieved by combining both approaches.

研究动机与目标

• 推动在不使用手工设计模板或任务特定改写的情况下提升上下文学习的自主性。
• 利用大量且多样的元训练任务集合教导模型从少量示例中恢复任务语义。
• 在严格全新且与元训练任务无重叠的目标任务上，在多种设置下评估性能。
• 展示元训练何时以及如何提升对领域转移和任务格式多样性的鲁棒性。

提出的方法

• 将 MetaICL 定义为在多任务上对预训练语言模型进行元训练，每个任务使用 k+1 个示例以在训练阶段模拟上下文学习。
• 使用交叉熵目标训练，以在给定前 k 个示例和输入的情况下预测第 (k+1) 个示例的标签。
• 在未见目标任务上进行评估，通过以 k 个带标签的示例加上测试输入进行条件化，而无需任何参数更新。
• 使用来自 CrossFit 和 UnifiedQA 的 142 个数据集的多样集合，形成七个元训练/目标划分且无重叠。
• 引入 Channel MetaICL，一种嘈杂信道变体，在推理时将 P(y|x) 重新参数化为 P(x|y)P(y)。
• 与强基线进行比较，包括标准的上下文学习、基于 PMI 的方法、多任务零-shot 转移和微调。

实验结果

研究问题

• RQ1 在没有任务特定提示或模板的情况下，MetaICL 是否能够在未见任务上实现有效的上下文学习？
• RQ2 元训练任务的数量和多样性如何影响对格式或领域不同的目标任务的少样本泛化？
• RQ3 与零-shot 和多任务基线相比，MetaICL 是否对领域转移和分布外目标任务具有鲁棒性？
• RQ4 MetaICL 是否接近甚至超过对目标任务的全监督微调性能，模型规模如何影响这一差距？
• RQ5 将人类编写的指令与 MetaICL 结合时是否具有互补性？

主要发现

• MetaICL 与 Channel MetaICL 在大多数设置中始终优于不使用元训练的基线，并且超越多任务零-shot 转移。
• Channel MetaICL 在七个设置中的大多数中达到最佳性能，在高资源到低资源以及领域转移任务中具有显著提升。
• MetaICL 常常接近或超过对目标数据进行全量微调的模型的性能，并且可以与参数多八倍的更大模型相匹配或超越。
• 性能提升随着元训练任务多样性而增长；多样化的任务集合比不多样的集合产生显著更好的结果。
• 结合人类编写的指令与 MetaICL 能带来互补收益，但在基线比较中，未使用模板的 MetaICL 通常仍具竞争力或更优。