[论文解读] A Dynamic Multi-Scale Voxel Flow Network for Video Prediction

Xiaotao Hu, Zhewei Huang+3 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Image Processing Techniques被引用 6

一句话总结

该论文提出了一种动态多尺度体素流网络（DMVFN），仅使用RGB输入即可预测未来视频帧，通过可微分路由模块根据输入运动尺度动态选择子网络。该方法在保持SOTA视频预测质量的同时，推理速度比先前的Deep Voxel Flow和OPT等方法快一个数量级。

ABSTRACT

The performance of video prediction has been greatly boosted by advanced deep neural networks. However, most of the current methods suffer from large model sizes and require extra inputs, e.g., semantic/depth maps, for promising performance. For efficiency consideration, in this paper, we propose a Dynamic Multi-scale Voxel Flow Network (DMVFN) to achieve better video prediction performance at lower computational costs with only RGB images, than previous methods. The core of our DMVFN is a differentiable routing module that can effectively perceive the motion scales of video frames. Once trained, our DMVFN selects adaptive sub-networks for different inputs at the inference stage. Experiments on several benchmarks demonstrate that our DMVFN is an order of magnitude faster than Deep Voxel Flow and surpasses the state-of-the-art iterative-based OPT on generated image quality. Our code and demo are available at https://huxiaotaostasy.github.io/DMVFN/.

研究动机与目标

• 开发一种轻量级视频预测模型，仅需RGB帧作为输入，避免依赖深度图或语义图等额外输入。
• 解决在真实世界视频中建模多样化运动尺度的挑战，尤其是在高分辨率和复杂场景下的表现。
• 在保持或提升预测质量的同时，降低计算成本和推理时间。
• 设计一种可微分路由机制，在推理过程中根据输入特征自适应选择最优子网络。

提出的方法

• 核心架构由多尺度体素流模块（MVFBs）组成，通过感受野逐渐增大的空洞卷积在多个空间尺度上提取运动线索。
• 轻量级路由模块通过共享主干网络和可微分软路由，从输入帧生成路由向量，实现动态子网络选择。
• 路由机制采用直通估计器与二值采样（STEBS），以支持路由策略的端到端训练。
• 模型采用多尺度光流估计策略，每个MVFB在特定尺度上处理特征，缩放因子设置为[4,2,1]以实现最佳性能。
• 每个MVFB内的空间路径通过保留跨尺度的空间上下文信息，增强特征聚合能力。
• 整个网络通过对抗损失、感知损失和重建损失的组合进行端到端训练，以提升视觉质量。

实验结果

研究问题

• RQ1 单一轻量级视频预测模型能否在无需额外输入的前提下，有效处理真实世界视频中的多尺度运动模式？
• RQ2 动态子网络选择如何在提升效率的同时改善视频预测的准确性？
• RQ3 何种设计可实现最优的可微分路由机制，以自适应匹配输入相关的运动复杂度？
• RQ4 缩放因子和空间路径设计如何影响视频预测中多尺度运动的建模效果？
• RQ5 基于路由的架构能否在速度和视觉质量上均超越迭代式或固定架构模型？

主要发现

• DMVFN在所有基准测试中均实现了SOTA的MS-SSIM表现，其中在Cityscapes数据集上t+1时为95.73，t+5时为83.45，优于OPT和Deep Voxel Flow。
• 该模型比Deep Voxel Flow快一个数量级，显著降低GFLOPs，同时保持或提升图像质量。
• 采用STEBS的路由模块在长期预测中优于Gumbel Softmax和随机路由，归因于其更强的动态适应能力。
• MVFB中的空间路径在所有数据集上将性能提升1.5–2.0 MS-SSIM点，证明其在特征聚合中的有效性。
• 最优缩放因子序列[4,2,1]表现最佳，在Cityscapes数据集t+5时相比[1]提升2.5 MS-SSIM点。
• 消融实验表明，路由模块和空间路径均不可或缺，完整DMVFN相比变体模型在MS-SSIM上提升1.5–3.0点。