[论文解读] Greedy Hierarchical Variational Autoencoders for Large-Scale Video Prediction

Bo-Han Wu, Suraj Nair+3 more|arXiv (Cornell University)|Mar 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 79被引用 7

一句话总结

该论文提出了一种贪心分层变分自编码器（GHVAEs），一种以贪心、顺序方式训练深度分层视频预测模型的方法，实现了稳定的优化并提升了内存效率。通过冻结先前训练的模块并独立训练每一层，GHVAEs在视频数据集上的FVD得分提高了17–55%，在真实机器人操作任务中的成功率提高了35–40%，且性能随模块数量增加而单调提升。

ABSTRACT

A video prediction model that generalizes to diverse scenes would enable intelligent agents such as robots to perform a variety of tasks via planning with the model. However, while existing video prediction models have produced promising results on small datasets, they suffer from severe underfitting when trained on large and diverse datasets. To address this underfitting challenge, we first observe that the ability to train larger video prediction models is often bottlenecked by the memory constraints of GPUs or TPUs. In parallel, deep hierarchical latent variable models can produce higher quality predictions by capturing the multi-level stochasticity of future observations, but end-to-end optimization of such models is notably difficult. Our key insight is that greedy and modular optimization of hierarchical autoencoders can simultaneously address both the memory constraints and the optimization challenges of large-scale video prediction. We introduce Greedy Hierarchical Variational Autoencoders (GHVAEs), a method that learns high-fidelity video predictions by greedily training each level of a hierarchical autoencoder. In comparison to state-of-the-art models, GHVAEs provide 17-55% gains in prediction performance on four video datasets, a 35-40% higher success rate on real robot tasks, and can improve performance monotonically by simply adding more modules.

研究动机与目标

• 解决在多样化、大规模数据集上训练大规模视频预测模型时的欠拟合问题。
• 克服GPU/TPU内存限制，后者会限制端到端训练中模型的大小。
• 稳定深度分层VAE中的优化过程，此类模型因潜在变量之间的双向依赖关系而面临挑战。
• 实现可扩展的、高保真度的视频预测，具备在多样化场景中的泛化能力，并支持机器人规划。
• 设计一种训练范式，使模型深度增加时性能可单调提升。

提出的方法

• GHVAEs采用贪心、顺序的训练策略，其中每个分层模块独立训练，使用先前训练模块的冻结权重。
• 每个模块由编码器-解码器结构组成，包含随机潜在变量，通过最大化变分下界（ELBO）进行训练。
• 通过隔离训练各模块，打破分层潜在变量之间的双向依赖，从而提升优化稳定性。
• 模型在分层结构中引入了动作条件化的先验分布，支持机器人控制中的规划。
• 训练过程内存效率高，可在固定的GPU/TPU内存限制内训练更大规模的模型。
• 推理时，所有模块联合使用，从输入帧生成高保真度的视频预测。

实验结果

研究问题

• RQ1 贪心、模块化训练能否稳定深度分层VAE在视频预测中的优化？
• RQ2 分层模块的顺序训练是否能提升在大规模、多样化视频数据集上的性能？
• RQ3 GHVAEs能否在视频预测质量与机器人任务成功率方面优于当前最先进模型？
• RQ4 增加GHVAE模块数量是否能带来性能的单调提升？
• RQ5 GHVAEs能否克服训练大规模视频预测模型时的内存瓶颈？

主要发现

• 与最先进模型相比，GHVAEs在四个多样化视频数据集上的FVD得分提高了17–55%。
• 在机器人操作任务中，使用GHVAEs进行规划时，真实机器人任务成功率提高了35–40%。
• 随着GHVAE模块数量的增加，性能单调提升，表明其具备良好的可扩展性。
• RoboNet数据集中出现的失败案例（如对运动物体跟踪不准确）归因于欠拟合，可通过增加模型深度解决。
• 模型性能对部分可观测性敏感；引入3D状态或多视角输入可能进一步提升鲁棒性。
• 理论分析表明，贪心训练可保持或提升ELBO，确保优化过程稳定。