[论文解读] A Hierarchical Latent Structure for Variational Conversation Modeling

Yookoon Park, Jaemin Cho+1 more|arXiv (Cornell University)|Apr 10, 2018

Topic Modeling参考文献 14被引用 17

一句话总结

本文提出变分分层对话RNN（VHCR），一种基于VAE的新模型，用于对话生成。该模型采用具有全局和局部潜在变量的分层潜在结构，并引入话语丢弃正则化，以解决条件VAE中的退化问题。VHCR在Cornell电影对话数据集和Ubuntu对话语料库上优于最先进模型，生成质量更优，并通过解耦的潜在空间实现对对话的全局控制。

ABSTRACT

Variational autoencoders (VAE) combined with hierarchical RNNs have emerged as a powerful framework for conversation modeling. However, they suffer from the notorious degeneration problem, where the decoders learn to ignore latent variables and reduce to vanilla RNNs. We empirically show that this degeneracy occurs mostly due to two reasons. First, the expressive power of hierarchical RNN decoders is often high enough to model the data using only its decoding distributions without relying on the latent variables. Second, the conditional VAE structure whose generation process is conditioned on a context, makes the range of training targets very sparse; that is, the RNN decoders can easily overfit to the training data ignoring the latent variables. To solve the degeneration problem, we propose a novel model named Variational Hierarchical Conversation RNNs (VHCR), involving two key ideas of (1) using a hierarchical structure of latent variables, and (2) exploiting an utterance drop regularization. With evaluations on two datasets of Cornell Movie Dialog and Ubuntu Dialog Corpus, we show that our VHCR successfully utilizes latent variables and outperforms state-of-the-art models for conversation generation. Moreover, it can perform several new utterance control tasks, thanks to its hierarchical latent structure.

研究动机与目标

• 为解决条件变分自编码器（VAEs）在对话建模中持续存在的退化问题，即解码器忽略潜在变量而表现得像普通RNN。
• 探究分层VAEs在对话建模中退化问题的根本原因，特别是上下文条件生成中的数据稀疏性以及解码器过强的问题。
• 设计一种新型模型架构，有效利用全局和局部潜在变量，以建模长期对话结构并提升生成质量。
• 通过解耦潜在空间操作实现可控对话生成，特别是通过控制全局对话上下文。

提出的方法

• 引入分层潜在结构，包含一个全局对话潜在变量（z^conv）和局部话语级潜在变量（z^utt），以更好地建模长期依赖关系和全局上下文。
• 提出话语丢弃正则化，一种新颖的训练技术，通过在训练过程中随机屏蔽话语，防止对上下文-话语对的过拟合，并强制模型依赖潜在变量。
• 采用条件VAE框架，其中解码器在上下文RNN隐藏状态和潜在变量的联合条件下自回归地生成响应。
• 使用分层RNN架构，包含话语级RNN编码器和解码器，以及一个随时间处理话语表示的上下文级RNN。
• 应用KL退火和重参数化技巧，实现VAE目标的端到端训练，确保变分下界的稳定优化。
• 推理阶段采用贪婪解码，并通过自动指标（BLEU、ROUGE、BERTScore）和人工评估来衡量生成质量。

实验结果

研究问题

• RQ1 为何现有使用分层RNN的条件VAE模型即使采用如词丢弃等正则化技术，仍会遭受退化？
• RQ2 上下文条件生成中的数据稀疏性如何加剧对话VAE中的退化问题？
• RQ3 具有全局和局部潜在变量的分层潜在结构能否提升潜在变量的利用效率和对话建模的生成质量？
• RQ4 全局潜在变量在多大程度上可实现可控对话生成，例如在对话语气之间进行插值？

主要发现

• VHCR在Cornell电影对话数据集和Ubuntu对话语料库上，多个自动指标（BLEU、ROUGE、BERTScore）均取得最高性能，优于HRED、VHRED及带辅助损失的VHRED变体。
• 与基线VHRED变体相比，该模型的KL散度值更高且更稳定，表明在无需辅助目标的情况下也更好地利用了潜在变量。
• 在Amazon Mechanical Turk上的人工评估显示，VHCR生成的响应更具一致性且更符合上下文，尤其在Ubuntu对话语料库中性能提升更为显著。
• 沿全局潜在变量z^conv进行插值能有效调节生成对话的语气和内容，证明了全局控制的有效性。
• 固定z^conv并采样局部z^utt可生成多样但上下文连贯的响应，证实了全局上下文与话语级变化的解耦。
• 话语丢弃正则化有效防止了对上下文-话语对的过拟合，并减少了对解码器记忆的依赖，表现为泛化能力提升和潜在变量使用率提高。