[论文解读] Control Prefixes for Text Generation.

Jordan Clive, Kris Cao+1 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 51被引用 17

一句话总结

本文提出Control Prefixes，一种动态提示学习方法，通过将可学习的、与属性相关的表征注入预训练Transformer模型的不同层，实现在文本生成中的条件性、细粒度控制。该方法在多个GEM基准数据集（包括WebNLG）上取得了最先进性能，实现了超越静态、数据集级提示的输入相关提示自适应。

ABSTRACT

Prompt learning methods adapt pre-trained language models to downstream applications by using a task-specific prompt together with the input. Most of the current work on prompt learning in text generation relies on a shared dataset-level prompt for all examples in the dataset. We extend this approach and propose a dynamic method, Control Prefixes, which allows for the inclusion of conditional input-dependent information in each prompt. Control Prefixes is at the intersection of prompt learning and controlled generation, empowering the model to have finer-grained control during text generation. The method incorporates attribute-level learnable representations into different layers of a pre-trained transformer, allowing for the generated text to be guided in a particular direction. We provide a systematic evaluation of the technique and apply it to five datasets from the GEM benchmark for natural language generation (NLG). We present state-of-the-art results on several data-to-text datasets, including WebNLG.

研究动机与目标

• 为解决文本生成中静态、数据集级提示的局限性，实现基于输入的条件性控制。
• 将属性级别的可学习表征集成到预训练Transformer的多个层中，以实现更细粒度的生成控制。
• 通过基于输入属性动态调整提示，弥合提示学习与可控生成之间的鸿沟。
• 在GEM基准的多样化自然语言生成任务中评估该方法的有效性。
• 在WebNLG等数据到文本生成基准上实现最先进性能。

提出的方法

• Control Prefixes引入可学习的、与任务相关的前缀标记，这些标记基于输入属性进行条件化，并注入到预训练Transformer的多个层中。
• 该方法通过注入这些前缀标记，动态修改注意力和前馈层，且这些前缀标记与主模型端到端联合训练。
• 使用属性级别的表征来引导生成过程，从而实现对输出文本中特定属性的控制。
• 前缀嵌入在各层之间共享，但通过输入特定的条件信号进行调制，以生成上下文感知的提示。
• 该方法使用标准语言建模范式进行端到端训练，无需对基础模型进行架构修改。
• 通过在推理阶段调整输入条件，该方法支持零样本和少样本适应。

实验结果

研究问题

• RQ1 与静态、数据集级提示相比，动态的、基于输入的提示是否能提升文本生成质量？
• RQ2 可学习的前缀标记在多大程度上能够实现对生成文本中特定属性的细粒度控制？
• RQ3 Control Prefixes在GEM基准中多样化的数据到文本生成任务中表现如何？
• RQ4 该方法是否在WebNLG等成熟基准上实现了最先进性能？
• RQ5 该方法是否能在极少架构修改的情况下，有效泛化到不同NLG任务？

主要发现

• Control Prefixes在GEM基准的多个数据到文本生成数据集（包括WebNLG）上实现了最先进性能。
• 通过实现基于输入的提示自适应，该方法显著提升了生成质量，优于静态提示基线模型。
• 将属性级别的表征整合到Transformer的多个层中，带来了更连贯、更受控的文本生成结果。
• 该方法在无需任务特定架构修改的情况下，能良好泛化到多样化的NLG任务。
• 即使在低资源设置下，该模型仍保持强大性能，展现出对少样本和零样本场景的鲁棒性。
• 实证结果证实，动态前缀机制相比传统提示学习，能够实现更细粒度的控制。