[论文解读] Clockwork Variational Autoencoders

Vaibhav Saxena, Jimmy Ba+1 more|arXiv (Cornell University)|Feb 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 12

一句话总结

时钟机制变分自编码器（CW-VAE）提出了一种分层潜在动态模型，其中多个层级的潜在变量以不同的固定时钟频率运行，从而实现对长时序视频的精确预测。该模型在长序列上的表现优于最先进的模型（如RSSM和SVG），在500帧的Minecraft基准测试中，能够实现超过400帧的准确预测，其中高层潜在变量捕捉缓慢变化的内容，而低层潜在变量处理快速动态变化。

ABSTRACT

Deep learning has enabled algorithms to generate realistic images. However, accurately predicting long video sequences requires understanding long-term dependencies and remains an open challenge. While existing video prediction models succeed at generating sharp images, they tend to fail at accurately predicting far into the future. We introduce the Clockwork VAE (CW-VAE), a video prediction model that leverages a hierarchy of latent sequences, where higher levels tick at slower intervals. We demonstrate the benefits of both hierarchical latents and temporal abstraction on 4 diverse video prediction datasets with sequences of up to 1000 frames, where CW-VAE outperforms top video prediction models. Additionally, we propose a Minecraft benchmark for long-term video prediction. We conduct several experiments to gain insights into CW-VAE and confirm that slower levels learn to represent objects that change more slowly in the video, and faster levels learn to represent faster objects.

研究动机与目标

• 为解决在100帧以上长视频序列中准确预测的挑战，现有模型因难以捕捉长期依赖关系而失效。
• 探索时间抽象与分层潜在变量如何通过解耦场景中缓慢与快速变化的元素，提升长时序视频预测性能。
• 引入基于MineRL Navigate数据集的新基准，用于评估长达1000帧的长期视频预测性能。
• 研究模型如何在不同时间尺度上组织信息，确认高层潜在变量代表更缓慢变化的内容。
• 证明模型能通过根据运动频率将信息负载分配给合适的潜在变量，实现对不同序列速度的自适应。

提出的方法

• CW-VAE 采用分层潜在变量结构，每一层以不同的固定频率运行，最慢的一层每多个输入帧才更新一次。
• 使用变分推断端到端训练模型，时间抽象因子决定了相邻层级之间的时钟频率比。
• 模型从潜在层级解码生成视频帧，无需自回归反馈，从而实现高效的长时序生成。
• 每层使用KL正则化器来衡量信息含量，KL值越高表示该层存储的信息越多。
• 架构采用卷积编码器和解码器处理图像输入，并在分层潜在空间中生成预测。
• 模型在多种数据集上进行训练，包括Moving MNIST、KTH、HMDB和MineRL Navigate，并对抽象因子和层级数量进行了消融研究。

实验结果

研究问题

• RQ1 具有固定时钟频率的分层潜在动态模型是否能将100帧以上的长时序视频预测性能提升？
• RQ2 分层结构中的高层潜在变量是否学习到代表缓慢变化场景元素（如背景结构）的表征，而低层则捕捉快速动态？
• RQ3 当输入序列速度变化时，模型如何调整其在不同潜在变量间的信息分布？
• RQ4 增加时间抽象程度（即增大时钟频率比）是否能提升长时序预测的准确性？
• RQ5 模型是否能在多种视频数据集上实现泛化，并超越现有最先进视频预测模型？

主要发现

• 在包含500帧的MineRL Navigate数据集上，CW-VAE实现了超过400帧的准确预测，显著优于以往模型（在150帧前即失效）。
• 模型在长时序预测方面表现更优，在合成数据集上1000帧的预测依然准确，且在多个指标上优于RSSM和SVG。
• 高层潜在变量存储了如迷宫中墙壁颜色等缓慢变化内容的信息，而低层潜在变量则表示如相机位置等快速变化元素。
• 在Moving MNIST中训练时，若输入运动较快，低层KL散度增加，高层KL散度减少，证实了模型能根据运动速度自适应分配信息。
• 增加层级数量或时间抽象因子可降低最低层的信息负载，表明更深的层次结构能更高效地在不同时间尺度上分配信息。
• 模型性能对帧率变化具有鲁棒性：慢速序列更多依赖高层潜在变量，快速序列则更多依赖低层潜在变量，体现出动态适应能力。