[论文解读] An Auto-Encoder Matching Model for Learning Utterance-Level Semantic Dependency in Dialogue Generation

Liangchen Luo, Jingjing Xu+3 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 16被引用 6

一句话总结

本文提出了一种自编码器匹配（AEM）模型，通过结合两种无监督自编码器进行表征学习，并引入映射模块以对齐输入与响应的语义，显式学习对话生成中的话语级语义依赖关系。AEM 模型显著提升了响应的连贯性与流畅性，在自动评估与人工评估中均取得了最先进性能，尤其在复杂输入上显著优于基线模型。

ABSTRACT

Generating semantically coherent responses is still a major challenge in dialogue generation. Different from conventional text generation tasks, the mapping between inputs and responses in conversations is more complicated, which highly demands the understanding of utterance-level semantic dependency, a relation between the whole meanings of inputs and outputs. To address this problem, we propose an Auto-Encoder Matching (AEM) model to learn such dependency. The model contains two auto-encoders and one mapping module. The auto-encoders learn the semantic representations of inputs and responses, and the mapping module learns to connect the utterance-level representations. Experimental results from automatic and human evaluations demonstrate that our model is capable of generating responses of high coherence and fluency compared to baseline models. The code is available at https://github.com/lancopku/AMM

研究动机与目标

• 为解决开放域对话系统中生成语义连贯响应的挑战，传统序列到序列模型常因输入与响应相关性差而失效。
• 显式建模话语级语义依赖——即输入与响应之间的整体语义关系——超越词级别的注意力机制。
• 通过将话语表征学习与依赖学习解耦，提升模型的表达能力，从而改善响应质量。
• 证明结合话语级与词级依赖可生成更具多样性与上下文相关性的响应。

提出的方法

• 该模型采用两个基于LSTM的自编码器：一个用于将输入话语编码为语义表征，另一个用于重建响应序列，从而实现话语级语义的无监督学习。
• 每个自编码器的编码器与解码器通过最小化重建损失进行训练，使用最终隐藏状态作为话语级表征。
• 引入一个映射模块，学习输入话语表征与目标响应表征之间的对应关系，显式建模话语级依赖。
• 推理阶段，模型使用定制化解码器，基于学习到的映射关系与输入表征生成响应，采用混合解码策略结合自编码器输出与注意力机制。
• 通过同时最小化两个自编码器的重建损失与对齐输入与响应表征的匹配损失，联合训练模型。
• 最终响应生成结合自编码器解码器输出与注意力机制输出，提升词级对齐性，同时保持话语级连贯性。

实验结果

研究问题

• RQ1 显式建模话语级语义依赖是否能提升开放域对话系统中生成响应的连贯性？
• RQ2 将表征学习与依赖学习分离，对对话生成模型性能有何影响？
• RQ3 结合话语级与词级依赖在多大程度上提升了响应的流畅性与多样性？
• RQ4 AEM 模型在复杂或模糊输入上是否比标准 Seq2Seq 与 Seq2Seq+Attention 模型具有更好的泛化能力？

主要发现

• AEM 模型的 BLEU-4 得分为 0.68，相较于 Seq2Seq 模型提升了 0.68 分，显著高于在 Seq2Seq 上添加注意力机制所带来的 0.29 分提升。
• AEM 模型提升了响应多样性，生成的唯一三元语法数量接近 Seq2Seq 模型的六倍，分别达到 34.6K 与 6.1K。
• 人工评估显示，AEM 模型在流畅性与连贯性上的几何平均分为 7.8，显著优于 Seq2Seq 模型，重复响应（如 'I don’t know'）减少了 50%。
• AEM+Attention 模型整体表现最佳，当在 AEM 模型中加入注意力机制时，连贯性显著提升，表明话语级与词级依赖之间存在协同增益。
• 错误分析显示，该模型在未见词汇（如 'Bonjour' 生成 'Stay out of here'）上表现不佳，提示未来工作需通过变分自编码器提升泛化能力。