[论文解读] Prompting for a conversation: How to control a dialog model?

Josef Valvoda, Yimai Fang+1 more|arXiv (Cornell University)|Sep 22, 2022

Topic Modeling被引用 5

一句话总结

本文提出动态提示作为一种控制对话模型的方法，通过使用控制器网络根据输入查询来条件化提示，从而在不微调主模型的情况下实现高质量、多样化且新颖的回复。该方法在BLEU4上相比微调提升了12%，并保持了较高的新颖性（0.93）和多样性（0.96），在所有指标上均优于微调和软提示方法，甚至使GPT-2在动态提示下超越了DialoGPT。

ABSTRACT

Dialog modelling faces a difficult trade-off. Models are trained on a large amount of text, yet their responses need to be limited to a desired scope and style of a dialog agent. Because the datasets used to achieve the former contain language that is not compatible with the latter, pre-trained dialog models are fine-tuned on smaller curated datasets. However, the fine-tuning process robs them of the ability to produce diverse responses, eventually reducing them to dull conversation partners. In this paper we investigate if prompting can mitigate the above trade-off. Specifically, we experiment with conditioning the prompt on the query, rather than training a single prompt for all queries. By following the intuition that freezing the pre-trained language model will conserve its expressivity, we find that compared to fine-tuning, prompting can achieve a higher BLEU score and substantially improve the diversity and novelty of the responses.

研究动机与目标

• 为了解决在大规模文本上训练的对话模型中响应质量与多样性之间的权衡问题。
• 探究提示技术——尤其是动态提示——是否能够在保持模型表达能力的同时实现对响应内容的控制。
• 评估领域特定预训练（如DialoGPT）在对话生成中是否对有效提示是必要的。
• 衡量训练数据量对基于提示的响应多样性与新颖性的影响。
• 在提示设置下，比较通用模型（GPT-2）与对话专用模型（DialoGPT）的性能表现。

提出的方法

• 动态提示使用一个控制器——一个Transformer编码器——根据输入查询生成独特的提示嵌入，从而实现上下文感知的响应生成。
• 提示是一个可学习的连续向量，被附加到输入序列之前，而主模型的权重保持冻结以保留其通用语言能力。
• 该方法仅微调提示嵌入和词嵌入，不更新主模型，以最小化参数更新并保持模型表达能力。
• 使用软提示基线进行对比，其中单个固定提示应用于所有输入，不进行查询条件化。
• 控制器网络处理输入查询并生成上下文相关的提示向量，使模型能够根据每轮对话动态调整其响应风格。
• 实验在DailyDialog数据集上进行，使用GPT-2和DialoGPT两种模型，训练数据量从10%到100%不等，以评估数据效率。

实验结果

研究问题

• RQ1 动态提示能否在对话生成中实现比微调和软提示更高的响应质量（以BLEU4衡量）？
• RQ2 随着BLEU4得分的提高，动态提示是否相比微调和软提示能更好地维持更高的响应新颖性和多样性？
• RQ3 在动态提示设置下，通用语言模型（如GPT-2）是否能优于对话专用模型（如DialoGPT）？
• RQ4 训练数据量如何影响动态提示与微调、软提示在新颖性和多样性方面的性能表现？
• RQ5 对话专用预训练对于对话建模中的有效提示是否必要，还是通用预训练已足够？

主要发现

• 动态提示模型的BLEU4得分为0.12，相比微调（0.11）提高了9%，相比软提示（0.08）提高了15%。
• 动态提示保持了0.93的新颖性得分和0.96的多样性得分，显著优于微调（0.74和0.79）与软提示（0.85和0.87）。
• 随着训练数据量的增加，动态提示维持了较高的BLEU4以及高新颖性和多样性，而微调和软提示在BLEU4提升的同时，新颖性和多样性显著下降。
• 在相同提示设置下，GPT-2通过动态提示实现的BLEU4为0.14，相比DialoGPT的0.12提高了19%，挑战了对话专用预训练的必要性。
• 对GPT-2或DialoGPT进行微调后性能几乎完全相同，表明在使用提示技术时，对话专用预训练的优势微乎其微。
• 即使仅使用10%的训练数据，动态提示依然有效；而软提示在数据量超过30%后停止提升，并在更大数据设置下表现更差。