[论文解读] Disentangled Recurrent Wasserstein Autoencoder

Jun Han, Martin Renqiang Min+3 more|arXiv (Cornell University)|May 3, 2021

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 2

一句话总结

该论文提出了一种循环Wasserstein自编码器（R-WAE），一种生成模型，通过基于Wasserstein GAN的目标，将序列数据解耦为时不变（静态）和时变（动态）因子。通过最小化惩罚后的Wasserstein距离上界并最大化输入与解耦因子之间的互信息，该模型在定量和定性指标上均优于基线模型，提升了表征解耦性和视频生成质量。

ABSTRACT

Learning disentangled representations leads to interpretable models and facilitates data generation with style transfer, which has been extensively studied on static data such as images in an unsupervised learning framework. However, only a few works have explored unsupervised disentangled sequential representation learning due to challenges of generating sequential data. In this paper, we propose recurrent Wasserstein Autoencoder (R-WAE), a new framework for generative modeling of sequential data. R-WAE disentangles the representation of an input sequence into static and dynamic factors (i.e., time-invariant and time-varying parts). Our theoretical analysis shows that, R-WAE minimizes an upper bound of a penalized form of the Wasserstein distance between model distribution and sequential data distribution, and simultaneously maximizes the mutual information between input data and different disentangled latent factors, respectively. This is superior to (recurrent) VAE which does not explicitly enforce mutual information maximization between input data and disentangled latent representations. When the number of actions in sequential data is available as weak supervision information, R-WAE is extended to learn a categorical latent representation of actions to improve its disentanglement. Experiments on a variety of datasets show that our models outperform other baselines with the same settings in terms of disentanglement and unconditional video generation both quantitatively and qualitatively.

研究动机与目标

• 解决序列数据中无监督解耦表征学习的挑战，该问题相较于图像等静态数据仍研究不足。
• 开发一种生成模型，显式地将序列数据中的静态（时不变）和动态（时变）因子进行解耦。
• 通过联合最小化惩罚后的Wasserstein距离和最大化输入数据与潜在因子之间的互信息，提升解耦性和生成质量。
• 引入动作计数的弱监督，通过类别型潜在动作表征进一步增强解耦效果。

提出的方法

• 提出一种循环架构，将序列输入映射为解耦的潜在码，利用共享编码器和两个独立的潜在空间，分离静态与动态成分。
• 采用基于Wasserstein GAN的目标，最小化模型生成分布与真实数据分布之间惩罚后Wasserstein距离的上界。
• 引入输入序列与解耦潜在因子之间互信息最大化的目标，以提升表征质量和解耦性。
• 通过已知的动作计数引入弱监督，学习动作的类别型潜在表征，从而增强动态因子的解耦性。
• 采用变分推断框架与后验近似，实现基于所提目标的端到端自编码器训练。
• 应用梯度惩罚以稳定训练，与WGAN-GP一致，确保判别器保持1-Lipschitz连续性。

实验结果

研究问题

• RQ1 在无监督学习下，循环自编码器框架能否有效解耦序列数据中的静态与动态因子？
• RQ2 与标准VAE相比，最小化惩罚后Wasserstein距离上界是否能提升序列数据生成质量？
• RQ3 最大化输入序列与解耦潜在因子之间的互信息在多大程度上能增强解耦性和生成性能？
• RQ4 来自动作计数的弱监督能否进一步提升序列表征中的解耦性？
• RQ5 在解耦性和无条件视频生成质量方面，所提出的R-WAE模型相较于现有基线模型表现如何？

主要发现

• R-WAE模型在多个序列数据集上，通过MIG和DCI等定量指标衡量，均展现出优于基线模型的解耦性能。
• 在无条件生成任务中，该模型生成的视频样本质量更高，视觉质量与时间连贯性均优于标准R-VAE及其他基线模型。
• 引入互信息最大化显著提升了解耦性，使模型能够学习到更具有语义意义且相互独立的静态与动态因子表征。
• 在提供动作计数监督时，模型学习到更结构化的类别型潜在动作表征，进一步增强了动态成分的解耦性。
• 理论分析证实，R-WAE最小化了惩罚后Wasserstein距离的上界，为序列生成提供了合理的优化目标。
• 实证结果表明，无论在定量评估还是定性的人工评估中，模型均表现出一致的性能提升，验证了其鲁棒性与泛化能力。