[论文解读] Entailment as Few-Shot Learner

Sinong Wang, Fang Han+3 more|arXiv (Cornell University)|Apr 29, 2021

Topic Modeling参考文献 46被引用 106

一句话总结

本论文提出了 EFL，即将 NLP 分类任务转化为文本蕴含问题，以实现对小型语言模型的少量样本学习，在18个任务和多语言设置中取得了强劲结果。

ABSTRACT

Large pre-trained language models (LMs) have demonstrated remarkable ability as few-shot learners. However, their success hinges largely on scaling model parameters to a degree that makes it challenging to train and serve. In this paper, we propose a new approach, named as EFL, that can turn small LMs into better few-shot learners. The key idea of this approach is to reformulate potential NLP task into an entailment one, and then fine-tune the model with as little as 8 examples. We further demonstrate our proposed method can be: (i) naturally combined with an unsupervised contrastive learning-based data augmentation method; (ii) easily extended to multilingual few-shot learning. A systematic evaluation on 18 standard NLP tasks demonstrates that this approach improves the various existing SOTA few-shot learning methods by 12\%, and yields competitive few-shot performance with 500 times larger models, such as GPT-3.

研究动机与目标

• 证明将NLP任务改写为蕴含能够让小型语言模型进行有效的少样本学习。
• 显示EFL可以与对比数据增强结合以提升性能。
• 将EFL扩展到多语言少样本学习并评估跨语言迁移。

提出的方法

• 通过将分类/回归任务改写为文本蕴含，将类别标签转换为自然语言描述。
• 使用每类别 K=8 的小型数据集，在蕴含形式上对预训练语言模型进行微调。
• 可选地在下游微调(EFL)之前，在MNLI（蕴含任务）上进行预训练。
• 使用无监督对比数据增强（UCA）来生成新的蕴含风格训练对。
• 使用 RoBERTa-large 在跨 GLUE、SNLI、BoolQ 等的18个 NLP 任务上进行评估。
• 将评估扩展到多语言场景，使用 XLM-R 和 MNLI/XNLI 作为数据源。

实验结果

研究问题

• RQ1 通过将任务改写为蕴含来替代传统微调，是否能显著提升小型语言模型在少样本学习中的能力？
• RQ2 基于蕴含的微调在有限带标签数据的情况下，是否能良好地跨多样任务与语言迁移？
• RQ3 标签描述对基于蕴含的少样本性能有何影响？
• RQ4 EFL 如何与数据增强技术以及多语言训练体系互动？

主要发现

• EFL 在少样本场景下显著提升了相对于标准微调、LM-BFF、Stilts-NLI 和 Stilts-Close 的表现，平均在15个任务上提升8.2%。
• 在少样本设置中，EFL 可与如 GPT-3 等大模型（大约500倍参数）竞争。
• 无监督对比数据增强（UCA）进一步提升结果，在15个任务上平均约提升2.7点。
• 使用 XLM-R 的多语言 EFL 相较于标准微调有显著提升，七个任务的平均增益从61.9到80.7。
• 在全量训练中，EFL 相较 RoBERTa-large 微调平均提升约1.9点。
• 在8-shot学习情况下，EFL 有时比传统方法取得较大优势，尤其在句子对任务上。