[论文解读] Context-Tuning: Learning Contextualized Prompts for Natural Language Generation

Tianyi Tang, Junyi Li+2 more|arXiv (Cornell University)|Jan 21, 2022

Topic Modeling被引用 12

一句话总结

本文提出 Context-Tuning，一种连续提示方法，通过利用 BERT 的掩码标记预测生成输入特定的上下文提示，以增强文本生成中的知识激发与相关性。通过结合连续逆提示与仅微调 0.12% 参数的轻量化微调策略，该方法在开放生成任务（如故事生成和评论生成）中显著提升了信息量与相关性，同时达到全参数微调性能的 98.0%。

ABSTRACT

Recently, pretrained language models (PLMs) have had exceptional success in language generation. To leverage the rich knowledge encoded by PLMs, a simple yet powerful paradigm is to use prompts in the form of either discrete tokens or continuous embeddings. In existing studies, these prompting methods are typically independent of the inputs, lacking sufficient consideration of input semantics. To address this issue, we propose a novel continuous prompting approach, called context-tuning, to fine-tuning PLMs for natural language generation. Firstly, the prompts are derived based on the input text to elicit useful knowledge from PLMs for generation. We refer to such prompts as contextualized prompts. Secondly, we use continuous inverse prompting to improve the process of natural language generation by modeling an inverse generation process from output to input, making the generated text more relevant to the inputs. Furthermore, we utilize a lightweight context-tuning method that fine-tunes only 0.12% of the parameters while maintaining good performance. Our code is publicly available at https://github.com/RUCAIBox/Context-Tuning.

研究动机与目标

• 为解决自然语言生成中静态提示的局限性，即提示在不同输入间保持不变，无法利用输入特定的语义信息。
• 通过生成动态依赖于输入内容的提示，提升生成文本的信息量与相关性。
• 通过连续逆提示建模从输出到输入的逆向生成过程，提升生成质量。
• 通过提出一种仅修改 0.12% 模型参数的轻量化上下文微调方法，实现高效微调。
• 在开放生成任务中，展示上下文提示在从预训练语言模型中激发与输入相关知识方面的有效性。

提出的方法

• 通过将输入文本和 [MASK] 标记输入 BERT，利用 [MASK] 标记的最终隐藏状态作为连续提示向量，生成上下文提示。
• 提示基于输入语义进行条件化，使模型能够从预训练语言模型中激发与输入相关的知识，从而提升生成质量。
• 通过最大化从生成文本和连续提示中重建输入的可能性，应用连续逆提示，提升输入与输出之间的相关性。
• 采用轻量化上下文微调策略，仅微调所有模型参数的偏置项，以降低训练成本。
• 将上下文提示与逆提示整合到统一框架中，实现仅需极少参数更新的端到端文本生成。
• 在四个生成任务（包括故事生成与评论生成）上评估该方法，采用自动评估与人工评估指标。

实验结果

研究问题

• RQ1 输入条件化的连续提示是否能提升开放生成任务中生成文本的信息量？
• RQ2 连续逆提示在增强生成文本与输入上下文之间相关性方面的有效性如何？
• RQ3 轻量化微调策略在减少参数更新的同时，能在多大程度上保持性能？
• RQ4 与静态提示相比，上下文提示是否能更好地捕捉与输入相关的知识？
• RQ5 在自动评估与人工评估中，该方法与强基线模型相比表现如何？

主要发现

• Context-Tuning 仅微调 0.12% 的参数，便达到全参数微调模型 98.0% 的性能，展现出极高的效率。
• 人工评估显示，Context-Tuning 在信息量、相关性、连贯性与流畅性等所有质量维度上均优于 GPT-2、BART 和 T5。
• 定性分析与从上下文提示中提取的关键字召回结果表明，模型生成的故事与输入的相关性显著提高。
• 召回分析显示，85% 的生成故事中的关键词位于与上下文提示最接近的 10 个词之内，证实了知识对齐。
• 机器人类测试结果表明，人类评估者无法可靠区分人类撰写与 Context-Tuning 生成的故事，表明其具有高度的流畅性与自然性。
• 在自动评估中，Context-Tuning 在 WritingPrompts、CMV 和 DailyDialog 数据集上均取得最先进结果，ROUGE 与 BLEU 分数显著提升。