[论文解读] A Deep Generative Model for Disentangled Representations of Sequential Data.

Yingzhen Li, Stephan Mandt|arXiv (Cornell University)|Mar 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 19

一句话总结

本文提出一种深度变分自编码器（VAE），可将序列数据解耦为静态内容与随时间变化的动态特征，通过条件化任一组分实现可控生成。实验表明，该方法在音频（男声转女声）和视频（形状与运动操控）中成功实现内容替换，且随机RNN在建模长序列方面表现出更优的效率。

ABSTRACT

We present a VAE architecture for encoding and generating high dimensional sequential data, such as video or audio. Our deep generative model learns a latent representation of the data which is split into a static and dynamic part, allowing us to approximately disentangle latent time-dependent features (dynamics) from features which are preserved over time (content). This architecture gives us partial control over generating content and dynamics by conditioning on either one of these sets of features. In our experiments on artificially generated cartoon video clips and voice recordings, we show that we can convert the content of a given sequence into another one by such content swapping. For audio, this allows us to convert a male speaker into a female speaker and vice versa, while for video we can separately manipulate shapes and dynamics. Furthermore, we give empirical evidence for the hypothesis that stochastic RNNs as latent state models are more efficient at compressing and generating long sequences than deterministic ones, which may be relevant for applications in video compression.

研究动机与目标

• 开发一种深度生成模型，以学习视频和音频等序列数据的解耦表征。
• 将潜在特征分离为静态内容与随时间演化的动态成分，实现独立控制。
• 通过操纵内容或动态特征，同时保持另一成分不变，实现条件生成。
• 评估随机RNN与确定性RNN在建模长序列数据时的效率差异。

提出的方法

• 模型采用VAE框架，使用随机RNN作为潜在状态转移模型，以捕捉时间动态。
• 潜在空间被划分为两部分：一部分表示静态内容，另一部分表示随时间演化的动态。
• 通过变分推断端到端训练模型，以最大化证据下界（ELBO）。
• 推理过程中通过条件化内容或动态的潜在变量实现条件生成。
• 架构支持通过替换不同序列的内容或动态特征实现解耦操控。
• 使用随机RNN建模潜在转移，提升长序列的压缩与生成效率。

实验结果

研究问题

• RQ1 深度生成模型能否有效解耦序列数据中的静态内容与动态特征？
• RQ2 仅条件化内容或动态特征是否能实现有意义且可控的新序列生成？
• RQ3 随机RNN与确定性RNN在压缩与生成长序列方面表现如何比较？
• RQ4 该模型能否在音频与视频中实现内容替换，如语音转换或形状-运动分离？

主要发现

• 模型成功实现内容与动态的解耦，支持对静态特征与随时间演化的成分进行独立操控。
• 音频中的内容替换可实现有效的男声转女声与女声转男声语音转换，同时保持语调特征不变。
• 在视频生成中，模型可分别操控形状（内容）与运动（动态）。
• 随机RNN在压缩与生成长序列方面优于确定性RNN，支持其建模效率更高的假设。