[论文解读] Generating Multiple Diverse Responses with Multi-Mapping and Posterior Mapping Selection

Chaotao Chen, Jinhua Peng+3 more|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 27被引用 6

一句话总结

本文提出一种结合后验映射选择的多映射机制，以在开放域对话中生成多样且高质量的回复。通过使用后验感知模块，在训练过程中根据目标回复选择正确的映射模块，模型实现了对潜在机制的精确优化，在基准数据集上的回复多样性与信息量方面优于先前方法。

ABSTRACT

In human conversation an input post is open to multiple potential responses, which is typically regarded as a one-to-many problem. Promising approaches mainly incorporate multiple latent mechanisms to build the one-to-many relationship. However, without accurate selection of the latent mechanism corresponding to the target response during training, these methods suffer from a rough optimization of latent mechanisms. In this paper, we propose a multi-mapping mechanism to better capture the one-to-many relationship, where multiple mapping modules are employed as latent mechanisms to model the semantic mappings from an input post to its diverse responses. For accurate optimization of latent mechanisms, a posterior mapping selection module is designed to select the corresponding mapping module according to the target response for further optimization. We also introduce an auxiliary matching loss to facilitate the optimization of posterior mapping selection. Empirical results demonstrate the superiority of our model in generating multiple diverse and informative responses over the state-of-the-art methods.

研究动机与目标

• 为解决开放域对话中的一对多回复生成问题，即单个输入可能对应多个有效回复。
• 克服现有方法在使用多个潜在因子实现多样性时对潜在机制的粗粒度优化问题。
• 通过显式关联目标回复与相应潜在机制，提升模型可解释性及多模态回复的捕捉能力。
• 利用后验（目标回复）信息进行机制选择，确保每个映射模块的准确训练。
• 通过辅助匹配损失引导后验映射选择，提升回复的多样性与质量。

提出的方法

• 引入一种具有多个映射模块的多映射机制，作为潜在机制，以建模从输入帖子到多样化回复的独立语义映射。
• 采用后验映射选择模块，在训练过程中基于目标回复信息选择与真实回复对应的映射模块。
• 每个训练样本仅优化所选映射模块，确保每个机制的学习精准且专注。
• 引入辅助匹配损失，评估输入帖子与目标回复之间的相关性，提升后验映射选择的准确性。
• 采用序列到序列框架结合注意力机制，每个映射模块通过共享编码器和独立解码器头学习不同的响应模式。
• 对生成的回复进行关键词分析，以解释每个映射模块所捕捉的语义规律（例如，疑问类、情感类、观点类）。

实验结果

研究问题

• RQ1 具有显式后验映射选择的多映射机制是否能提升开放域对话中生成回复的多样性和质量？
• RQ2 利用目标回复信息选择正确的映射模块，是否能实现对潜在机制更准确、更有效的优化？
• RQ3 所提出的模型能否捕捉可解释且独特的回应规律，如提问、情感表达或观点分享？
• RQ4 辅助匹配损失在后验映射选择模块的优化中起到何种作用？
• RQ5 该模型在生成多样化、流畅且信息丰富的回复方面，相较于现有方法在多大程度上表现更优？

主要发现

• 在Weibo和Cornell Movie Dialog数据集上，所提模型生成的回复显著优于当前最先进方法，在多样性和信息量方面表现更优。
• 关键词分析证实，每个映射模块均捕捉到独特且可解释的回应模式，如疑问类、情感类或观点类回复。
• 后验映射选择模块能有效识别每个目标回复对应的正确映射模块，实现聚焦优化。
• 辅助匹配损失提升了后验映射选择模块的性能，从而带来整体回复生成质量的提升。
• 实证结果表明，该模型在自动评估指标和人工评估的回复多样性与信息量方面，均优于现有方法。
• 模型在捕捉多模态回复分布方面表现出鲁棒性，在建模多样化回应规律方面，优于基于高斯分布和注意力机制的基线模型。