[论文解读] Generalized Conditioned Dialogue Generation Based on Pre-trained Language Model.

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 26被引用 5

一句话总结

该论文提出了一种使用微调后的基于BERT的模型来生成条件对话的广义框架，该框架利用了带标签的对话数据和非对话文本数据，以提升响应质量。通过为编码器和解码器角色分别适配BERT，并采用独特的输入表示和条件感知注意力路由机制，该模型在人物角色和主题条件对话生成任务中达到了最先进性能。

ABSTRACT

We investigate the general problem of conditioned dialogue, in which a condition label is used as input to designate the type of the target response such as a persona. A major challenge for conditioned dialogue generation is the lack of substantial dialogue data labeled with conditions. Thus, we propose to complement the labeled dialogue data with labeled non-dialogue text data, and fine-tune BERT based on them. Our fine-tuning approach utilizes BERT for both encoder and decoder via different input representations and self-attention masks in order to distinguish the source and target side. On the target (generation) side, we use a new attention routing mechanism to choose between generating a generic word or condition-related word at each position. Our model is instantiated to persona- and topic-related dialogue. Experimental results in both cases show that our approach can produce significantly better responses than the state-of-the-art baselines.

研究动机与目标

• 解决条件生成任务中带标签对话数据稀缺的问题。
• 提升人物角色和主题条件对话系统中的响应质量。
• 将预训练语言模型（如BERT）扩展至同时编码源上下文并生成特定条件的响应。
• 提出一种统一框架，可泛化于不同类型条件（如人物角色或主题）的生成任务。

提出的方法

• 在带标签对话数据和非对话文本数据上微调BERT，以增强条件生成任务的表征学习能力。
• 使用不同的输入表示和自注意力掩码，以在BERT架构中区分源（上下文）序列和目标（响应）序列。
• 通过修改输入分词方式和注意力模式，将BERT同时用作编码器和解码器，以支持自回归生成。
• 引入一种新颖的注意力路由机制，可在每个解码步骤动态选择生成通用词或特定条件的词。
• 使用标准语言建模范式端到端训练模型，同时保持对特定条件标记的关注能力。
• 将该框架应用于人物角色和主题条件对话任务，证明其在不同条件类型间的泛化能力。

实验结果

研究问题

• RQ1 当带标签对话数据有限时，预训练语言模型能否被有效适配于条件对话生成？
• RQ2 引入非对话文本数据在条件对话生成中如何提升性能？
• RQ3 统一的基于BERT的架构能否同时作为编码器和解码器用于条件响应生成？
• RQ4 条件感知注意力路由对响应相关性和多样性有何影响？
• RQ5 所提出方法是否能在不同类型条件（如人物角色和主题）之间实现泛化？

主要发现

• 所提出的模型在人物角色和主题条件对话生成任务中显著优于现有最先进基线模型。
• 在非对话文本数据上进行微调可提升零样本和少样本泛化能力，尤其在带标签对话数据稀缺时效果更明显。
• 条件感知注意力路由机制增强了模型生成与给定条件相关响应的能力。
• 统一的基于BERT的架构在性能上可与专用模型相媲美，展现出在不同条件类型间的强大泛化能力。
• 定量结果表明，BLEU、ROUGE和FID等自动指标持续提升，人工评估也证实了响应质量与连贯性更高。