[论文解读] Neural Response Generation with Meta-Words

Can Xu, Wei Wu+4 more|arXiv (Cornell University)|Jun 14, 2019

Topic Modeling参考文献 32被引用 6

一句话总结

该论文提出了一种增强型序列到序列模型的目标追踪记忆网络（GTMN），通过使用元词——即对话行为、长度和具体性等响应属性的结构化表示——实现可控且可解释的开放域响应生成。通过将元词显式建模为生成目标，该方法在两个大规模数据集上显著提升了响应的相关性、多样性以及元词保真度，超越了当前最先进模型。

ABSTRACT

We present open domain response generation with meta-words. A meta-word is a structured record that describes various attributes of a response, and thus allows us to explicitly model the one-to-many relationship within open domain dialogues and perform response generation in an explainable and controllable manner. To incorporate meta-words into generation, we enhance the sequence-to-sequence architecture with a goal tracking memory network that formalizes meta-word expression as a goal and manages the generation process to achieve the goal with a state memory panel and a state controller. Experimental results on two large-scale datasets indicate that our model can significantly outperform several state-of-the-art generation models in terms of response relevance, response diversity, accuracy of one-to-many modeling, accuracy of meta-word expression, and human evaluation.

研究动机与目标

• 为解决开放域对话生成中的一对多关系问题，该问题导致标准序列到序列模型生成重复且通用的响应。
• 通过结构化的元词实现对响应属性（如对话行为、长度、复制比例、话语数量和具体性）的显式控制。
• 通过可解释的元词属性使响应生成目标透明化，提升模型可解释性。
• 通过在序列到序列框架内将元词作为显式生成目标，提升响应质量和多样性。
• 开发一种可扩展且通用的框架，支持对元词进行特征工程，以应对多样化的对话控制任务。

提出的方法

• 引入元词作为响应属性的结构化记录，每个元词定义为（键，类型，值），其中类型为实数值（r）或分类值（c）。
• 在标准序列到序列架构基础上增强目标追踪记忆网络（GTMN），将元词表达视为生成目标。
• 设计状态记忆面板以追踪每个元词变量的当前表达状态，并设计状态控制器以引导解码过程实现目标。
• 引入一种新颖的状态更新损失，以最小化解码过程中记忆单元值与其目标值之间的距离。
• 通过新增损失组件端到端训练模型，惩罚元词目标的偏离，确保对指定属性的保真度。
• 通过注意力机制和状态更新实现响应相关性与元词准确性的联合优化。

实验结果

研究问题

• RQ1 元词能否通过显式编码响应属性，有效建模开放域对话中的一对多关系？
• RQ2 目标追踪记忆网络能否通过在解码过程中追踪元词目标，实现可控且可解释的响应生成？
• RQ3 与使用潜在变量的模型相比，将元词作为显式生成目标是否能提升响应的相关性、多样性和准确性？
• RQ4 不同元词属性（如对话行为、长度、复制比例）对模型性能和响应质量有何贡献？
• RQ5 所提出的框架能否在多样化响应控制任务（如人格、情感和具体性建模）中实现泛化？

主要发现

• GTMNES2S 模型在 Twitter 数据集上达到 33.2% 的响应相关性得分，在 Reddit 数据集上达到 19.2%，显著优于 MMI-bidi 和 kg-CVAE 等基线模型。
• 当使用全部五个元词属性时，该模型在 Twitter 数据集上的困惑度从 70.19 降低至 38.57，降幅接近 50%，表明模型拟合能力极强。
• 人工评估显示，该模型在 Twitter 测试集上获得 1.04 的平均得分，超越所有基线模型，且与人类标注者的一致性最高（kappa = 0.71）。
• 消融实验表明，增加更多元词属性可持续提升性能，其中复制比例和具体性属性的引入带来最大性能增益。
• 目标追踪机制的可视化结果表明，GTMN 有效缩小了记忆单元值与目标值之间的距离，确保了元词表达的准确性。
• 采用状态更新损失的模型（GTMNES2S）能稳定控制元词属性，而未使用该损失的变体（GTMNES2S w/o SU）则表现出失控行为，尤其在复制比例追踪方面。