[论文解读] A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation

Minghong Xu, Piji Li+5 more|arXiv (Cornell University)|Feb 6, 2020

Topic Modeling参考文献 32被引用 15

一句话总结

本文提出Persona Exploration and Exploitation (PEE)，一种基于变分自编码器（VAE）主题模型的神经主题扩展框架，通过语义相关的内容扩展原始短用户人格描述，从而增强非结构化人格导向对话系统。该框架通过专门设计的损失函数整合原始与扩展后的人格信息，提升响应质量，在自动评估与人工评估中均优于最先进基线模型。

ABSTRACT

Unstructured Persona-oriented Dialogue Systems (UPDS) has been demonstrated effective in generating persona consistent responses by utilizing predefined natural language user persona descriptions (e.g., "I am a vegan"). However, the predefined user persona descriptions are usually short and limited to only a few descriptive words, which makes it hard to correlate them with the dialogues. As a result, existing methods either fail to use the persona description or use them improperly when generating persona consistent responses. To address this, we propose a neural topical expansion framework, namely Persona Exploration and Exploitation (PEE), which is able to extend the predefined user persona description with semantically correlated content before utilizing them to generate dialogue responses. PEE consists of two main modules: persona exploration and persona exploitation. The former learns to extend the predefined user persona description by mining and correlating with existing dialogue corpus using a variational auto-encoder (VAE) based topic model. The latter learns to generate persona consistent responses by utilizing the predefined and extended user persona description. In order to make persona exploitation learn to utilize user persona description more properly, we also introduce two persona-oriented loss functions: Persona-oriented Matching (P-Match) loss and Persona-oriented Bag-of-Words (P-BoWs) loss which respectively supervise persona selection in encoder and decoder. Experimental results show that our approach outperforms state-of-the-art baselines, in terms of both automatic and human evaluations.

研究动机与目标

• 解决非结构化人格导向对话系统（UPDS）中用户人格描述有限且稀疏的问题，该问题阻碍了响应生成过程中有效的人格信息整合。
• 通过神经主题扩展技术，将预定义的人格描述扩展为语义相关的内容，以提升人格信息的利用率。
• 构建统一框架，以端到端方式联合优化人格探索（扩展）与人格利用（响应生成）两个阶段。
• 设计新型损失函数，引导模型在编码器与解码器组件中更优地选择与整合人格信息。
• 证明扩展后的人格表征可生成更连贯、更相关且人格一致的对话响应。

提出的方法

• 在人格探索模块中采用基于VAE的主题模型，从原始短用户人格描述与对话历史中生成语义丰富、扩展后的人格描述。
• 人格利用模块采用带有多跳记忆网络的序列到序列架构，将原始与扩展后的人格表征整合进对话生成过程。
• 引入互惠增强的多跳记忆检索机制，根据上下文动态从原始与扩展人格内容中检索相关人格词汇。
• 提出两种新型损失函数：用于引导编码器中人格选择的Persona-oriented Matching（P-Match），以及鼓励解码器生成人格相关词汇的Persona-oriented Bag-of-Words（P-BoWs）。
• 联合训练人格探索与利用模块，实现对话历史与扩展人格内容之间的上下文与主题对齐。
• 基于与当前对话上下文的相关性，动态检索并加权外部人格词汇，提升间接人格关联性。

实验结果

研究问题

• RQ1 神经主题扩展框架能否有效利用语义相关的内容丰富短且非结构化的用户人格，从而提升对话响应质量？
• RQ2 在多轮对话系统中，整合扩展后的人格信息如何影响生成响应的相关性与一致性？
• RQ3 所提出的P-Match与P-BoWs损失函数在多大程度上提升了模型检测与利用人格信息的能力？
• RQ4 人格探索与利用的联合训练是否优于独立训练或基线方法？
• RQ5 与基线模型相比，该模型在人格利用比率与响应信息量方面表现如何？

主要发现

• PEE在自动评估与人工评估指标上均显著优于最先进基线模型，展现出更优的响应质量与人格一致性。
• 人工评估显示，相较于轮廓记忆基线，人格检测准确率提升30.01%，表明人格信息利用更充分。
• 模型在所有对话轮次中均达到最高的人格使用比率，且对原始与扩展人格内容的使用保持一致且符合上下文。
• P-BoWs与P-Match损失函数有效促使模型生成更多人格相关词汇，并提升编码器与解码器中人格信息选择的准确性。
• 案例研究证实，PEE通过利用间接语义关联（如“vegan”→“dairy”→“candy”）生成更具信息量且人格一致的响应，而基线模型则未能捕捉此类关联。
• 互惠增强的多跳记忆机制成功检索并加权相关外部人格词汇，如注意力图可视化所示，显著增强了上下文对齐效果。