[论文解读] A Recurrent Latent Variable Model for Sequential Data

Jun‐Young Chung, Kyle Kastner+4 more|arXiv (Cornell University)|Jun 7, 2015

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 696

一句话总结

本文提出变分循环神经网络（VRNN），一种将潜在随机变量整合到RNN隐藏状态中的生成模型，以更好地捕捉序列数据中复杂且多模态的依赖关系。通过在潜在空间中建模时间依赖性并使用变分推断，VRNN在对数似然性上显著优于标准RNN或缺乏时间潜在依赖性的模型，并能生成更高质量的语音和手写样本。

ABSTRACT

In this paper, we explore the inclusion of latent random variables into the dynamic hidden state of a recurrent neural network (RNN) by combining elements of the variational autoencoder. We argue that through the use of high-level latent random variables, the variational RNN (VRNN)1 can model the kind of variability observed in highly structured sequential data such as natural speech. We empirically evaluate the proposed model against related sequential models on four speech datasets and one handwriting dataset. Our results show the important roles that latent random variables can play in the RNN dynamic hidden state.

研究动机与目标

• 解决标准RNN因隐藏状态为确定性而导致在建模复杂、多模态序列可变性方面的局限性。
• 探究高层潜在随机变量是否能改善对语音和手写等结构化序列数据的生成建模。
• 研究在RNN框架中对潜在变量之间的时间依赖性进行建模的影响。
• 证明潜在变量可使更简单的输出分布（如高斯分布）实现更优的生成效果，相比标准RNN。

提出的方法

• 将潜在随机变量整合到RNN隐藏状态中，形成结合RNN动态与变分推断的变分RNN（VRNN）。
• 使用识别模型在每个时间步上基于过去观测和隐藏状态推断潜在变量的后验分布。
• 利用依赖于前一隐藏状态和潜在变量的时间依赖性先验分布对潜在变量进行建模。
• 应用重参数化技巧，使通过随机计算图的端到端反向传播成为可能，以支持训练。
• 采用条件解码器从潜在状态生成观测数据，输出分布可采用高斯分布或高斯混合模型（GMM）。
• 通过变分推断训练模型，最大化观测序列对数似然性的下界。

实验结果

研究问题

• RQ1 在RNN隐藏状态中引入潜在随机变量是否能提升对自然语音等复杂序列数据的建模能力？
• RQ2 在潜在变量之间建模时间依赖性是否能提升基于RNN的生成模型性能？
• RQ3 当标准RNN使用相同输出分布失败时，VRNN中采用简单高斯输出分布能否生成高质量样本？
• RQ4 在语音和手写数据集上，VRNN与标准RNN及其他RNN变体在对数似然性和样本质量方面表现如何？
• RQ5 潜在变量的转移在引导生成多样化但一致的序列中起到何种作用？

主要发现

• VRNN在所有四个语音数据集上的对数似然性显著高于标准RNN及使用GMM输出的RNN，证明其建模能力更强。
• 采用高斯输出分布的VRNN（VRNN-Gauss）生成的语音波形比使用GMM的RNN（RNN-GMM）更清晰、质量更高，后者会产生高频噪声。
• 在潜在空间中未建模时间依赖性的VRNN模型性能劣于完整VRNN，证实了时间潜在动态的重要性。
• 潜在空间分析显示，潜在变量的转移与波形中的信号转换一致，语音音素转换期间KL散度和潜在状态变化均增加。
• 在手写生成中，VRNN能保持样本全程一致的书写风格，而基于RNN的模型则容易在序列中发生风格突变。
• 视觉检查确认，VRNN生成的样本更具多样性且更逼真，尤其在长序列中保持了良好的风格一致性。