[论文解读] Diversifying Task-oriented Dialogue Response Generation with Prototype Guided Paraphrasing

Phillip Lippe, Pengjie Ren+3 more|arXiv (Cornell University)|Aug 7, 2020

Speech and dialogue systems被引用 7

一句话总结

本文提出 P2-Net，一种原型引导的 paraphrasing 神经网络，通过使用多样化、上下文感知的 paraphrasing 对基于模板的响应进行优化，从而提升任务导向对话的响应生成效果。通过解耦语义、上下文风格和噪声，并利用随机对话原型注入风格多样性，P2-Net 在保持语义准确性的同时显著提升了响应多样性，该结论已在 MultiWOZ 数据集上通过自动评估与人工评估得到验证。

ABSTRACT

Existing methods for Dialogue Response Generation (DRG) in Task-oriented Dialogue Systems (TDSs) can be grouped into two categories: template-based and corpus-based. The former prepare a collection of response templates in advance and fill the slots with system actions to produce system responses at runtime. The latter generate system responses token by token by taking system actions into account. While template-based DRG provides high precision and highly predictable responses, they usually lack in terms of generating diverse and natural responses when compared to (neural) corpus-based approaches. Conversely, while corpus-based DRG methods are able to generate natural responses, we cannot guarantee their precision or predictability. Moreover, the diversity of responses produced by today's corpus-based DRG methods is still limited. We propose to combine the merits of template-based and corpus-based DRGs by introducing a prototype-based, paraphrasing neural network, called P2-Net, which aims to enhance quality of the responses in terms of both precision and diversity. Instead of generating a response from scratch, P2-Net generates system responses by paraphrasing template-based responses. To guarantee the precision of responses, P2-Net learns to separate a response into its semantics, context influence, and paraphrasing noise, and to keep the semantics unchanged during paraphrasing. To introduce diversity, P2-Net randomly samples previous conversational utterances as prototypes, from which the model can then extract speaking style information. We conduct extensive experiments on the MultiWOZ dataset with both automatic and human evaluations. The results show that P2-Net achieves a significant improvement in diversity while preserving the semantics of responses.

研究动机与目标

• 解决基于模板的系统在响应精确性与基于神经网络语料系统的流畅性/多样性之间的权衡问题。
• 在不牺牲语义保真度的前提下，提升任务导向对话响应的自然度与多样性。
• 开发一种方法，利用对话上下文和历史话语作为原型，指导响应生成中的风格变化。
• 在严格遵循系统动作语义的前提下，实现更类人、更多样化的响应。

提出的方法

• P2-Net 将响应组件解耦为语义（来自模板响应）、上下文风格（来自对话原型）以及 paraphrasing 噪声。
• 采用基于原型的机制，随机采样之前的对话轮次作为 paraphrasing 的风格参考。
• 模型独立编码语义与上下文风格，确保在 paraphrasing 过程中语义完整性得以保持。
• 采用神经 paraphrasing 网络，将语义输入与来自原型的风格嵌入相结合，生成多样化、上下文感知的响应。
• 该架构为语义和上下文分别使用独立编码器，并通过交叉注意力机制对齐与优化响应。
• 在推理阶段，P2-Net 为每个响应采样多个原型，实现无须依赖束搜索概率偏差的随机化、风格多样的生成。

实验结果

研究问题

• RQ1 我们能否在任务导向对话中，将基于模板的响应生成的精确性与基于神经语料的生成多样性相结合？
• RQ2 如何在保持系统动作语义意义的前提下，有效注入风格多样性到响应中？
• RQ3 基于原型的 paraphrasing 在多大程度上能提升响应多样性而不降低语义准确性？
• RQ4 与束搜索相比，原型采样在生成多样化且自然的对话响应方面表现如何？

主要发现

• P2-Net 显著提升了相比基线方法的响应多样性，该结论得到自动指标与人工评估的验证。
• 人工评估者认为 P2-Net 的响应更具多样性与自然度，句式与说话风格的差异更明显。
• 该模型生成了更多样化的响应，如 'Would you like to try…?'、'What about…?' 和 'How about…?'，而束搜索则表现出重复性模式。
• P2-Net 减少了在生成早期阶段对高概率槽位词的主导倾向，避免了束搜索对早期槽位插入的偏差。
• 尽管有所改进，部分响应仍存在语义不一致的问题，如对选项数量的引用错误或槽位解释冲突。
• 当生成响应时，模型偶尔会忽略模板中的隐含语义（例如 'many' trains），表明仍需更好的语义基础建模。