[论文解读] Few-Shot Text Generation with Pattern-Exploiting Training

Timo Schick, Hinrich Schütze|arXiv (Cornell University)|Dec 22, 2020

Topic Modeling参考文献 45被引用 74

一句话总结

本文介绍了 genPet，一种利用模式的训练方法，通过使用自然语言指令以及少量示例，使生成语言模型在文本生成任务上的数据高效微调成为可能。它在零样本和少样本设置下，在多项摘要和标题生成任务上相较标准微调显示出改进。

ABSTRACT

Providing pretrained language models with simple task descriptions in natural language enables them to solve some tasks in a fully unsupervised fashion. Moreover, when combined with regular learning from examples, this idea yields impressive few-shot results for a wide range of text classification tasks. It is also a promising direction to improve data efficiency in generative settings, but there are several challenges to using a combination of task descriptions and example-based learning for text generation. In particular, it is crucial to find task descriptions that are easy to understand for the pretrained model and to ensure that it actually makes good use of them; furthermore, effective measures against overfitting have to be implemented. In this paper, we show how these challenges can be tackled: We introduce GenPET, a method for text generation that is based on pattern-exploiting training, a recent approach for combining textual instructions with supervised learning that only works for classification tasks. On several summarization and headline generation datasets, GenPET gives consistent improvements over strong baselines in few-shot settings.

研究动机与目标

• 通过使用自然语言指令来引导预训练生成器，从而激发并实现数据高效的文本生成。
• 将模式利用训练范式从分类扩展到生成任务。
• 在零样本和少样本条件下，对多种英文摘要与标题生成任务评估 genPet。
• 分析促成 genPet 表现的组件并识别推动改进的因素。

提出的方法

• 介绍 genPet，一种对生成语言模型进行微调的过程，利用通过模式给出的文本指令来引导生成。
• 将 Pet 框架适配为编码器-解码器模型，对 x 应用单一或分割模式 P，使模型在 P(x) 条件下生成 y。
• 使用模式 P，在合适时，选择性地用编码器 vs. 解码器处理 P(x) 的部分，以影响指令对生成的作用。
• 通过 P(x) 中口述指令位置处的模型标记概率来形式化 p(y|x)。
• 解决三大挑战：最优的指令整合、指令的理解与对模式变化的鲁棒性，以及在少样本设置中的过拟合缓解。
• 描述编码器-解码器的生成机制以及将 p(y|z) 分解为逐标记条件的生成过程。

实验结果

研究问题

• RQ1 genPet 能否通过指令和少量带标签数据实现文本生成任务的数据高效微调？
• RQ2 应如何将指令整合到编码器-解码器模型中，以最大化对生成输出的影响？
• RQ3 如何确保模型理解指令并对模式变化保持鲁棒性？
• RQ4 在基于指令的提示的少样本生成中，哪些策略能缓解过拟合？

主要发现

• genPet 使 Pegasus 在摘要和标题生成任务上实现显著的数据高效微调，训练样本甚至仅需 10 或 100 个。
• 在多项摘要和标题生成任务的少样本 setting 中，GenPet 始终优于常规微调。
• 解码器对指令的处理往往对生成影响更大，而仅编码器处理的影响较小。
• 本文分析了促成 genPet 性能的因素并量化了其组件的影响。