[论文解读] Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders

Will Grathwohl, Aaron Wilson|arXiv (Cornell University)|Dec 14, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 18

一句话总结

该论文提出了一种分层变分自编码器，通过在潜在变量上施加因子化先验，实现了视频中静态身份与动态姿态/类姿态特征的解耦，同时通过高斯随机游走先验建模时间不变性。与变分自编码器（VAE）和慢特征分析基线相比，该方法在移动角色和旋转3D物体上的解耦和迁移学习性能均表现出色。

ABSTRACT

There are many forms of feature information present in video data. Principle among them are object identity information which is largely static across multiple video frames, and object pose and style information which continuously transforms from frame to frame. Most existing models confound these two types of representation by mapping them to a shared feature space. In this paper we propose a probabilistic approach for learning separable representations of object identity and pose information using unsupervised video data. Our approach leverages a deep generative model with a factored prior distribution that encodes properties of temporal invariances in the hidden feature set. Learning is achieved via variational inference. We present results of learning identity and pose information on a dataset of moving characters as well as a dataset of rotating 3D objects. Our experimental results demonstrate our model's success in factoring its representation, and demonstrate that the model achieves improved performance in transfer learning tasks.

研究动机与目标

• 在无监督条件下学习视频中静态身份与随时间变化的姿态的语义有意义且解耦的表征。
• 解决现有模型在共享潜在空间中混淆身份与运动的局限性。
• 通过概率建模学习可分离、可解释的特征，以提升迁移学习性能。
• 在统一的生成框架中结合慢特征分析（时间不变性）与独立特征学习（变分自编码器）的原理。
• 证明因子化表征可提升下游任务中的泛化能力。

提出的方法

• 使用具有因子化先验分布的分层变分自编码器，显式分离潜在空间中的静态与随时间变化的成分。
• 在潜在状态上施加高斯随机游走先验，以强制实现静态特征的时间平滑性与不变性。
• 应用变分推断，通过随机梯度下降在变分下界（ELBO）上端到端训练模型。
• 将潜在表征分解为两部分：近似恒定的静态成分与在帧间平滑变化的动态成分。
• 采用双流架构，共享编码器与解码器组件，其中潜在空间被划分为身份与姿态因子。
• 使用KL加权训练以平衡重建与正则化，通过消融实验调整β以控制解耦程度。

实验结果

研究问题

• RQ1 深度生成模型能否仅使用无监督数据学习到视频中静态身份与动态姿态的解耦表征？
• RQ2 在潜在空间上施加因子化先验是否能提升解耦性和下游迁移学习性能？
• RQ3 与标准VAE和慢特征分析相比，该模型在学习语义有意义特征方面的表现如何？
• RQ4 模型性能在多大程度上依赖于超参数（如β）和潜在维度？
• RQ5 该模型能否泛化到具有复杂运动与外观变化的真实世界视频数据？

主要发现

• 在MNIST视频数据集上，该模型在β=4时达到6.82的解耦分数，旋转椅子数据集上达到1.81，显著优于基线VAE（1.71和1.35）与慢特征分析（6.38和1.39）。
• 在Bouncing MNIST静态分类任务中，该模型使用4个特征子集达到88%准确率，超过VAE基线（80%）与慢特征分析模型（66%）。
• 在旋转椅子数据集上，该模型在β=4时达到59%的静态分类准确率，超过VAE基线（54%）与慢特征分析模型（37%）。
• 随着β增大，模型性能持续提升，表明更强正则化下解耦表征学习更有效，尽管进一步调优可能带来性能增益。
• 定性分析表明，模型学习到了可解释且解耦的特征：一个因子捕捉身份（如数字类别），另一个因子捕捉运动轨迹。
• 消融研究显示，若缺少适当的变分正则化，模型性能会大幅低于基线，凸显所提先验与训练方案的重要性。