[论文解读] MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions

Haixu Wu, Zhiyu Yao+2 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Vision and Imaging参考文献 38被引用 9

一句话总结

MotionRNN 提出了一种基于 RNN 的新型视频预测框架，通过使用专门设计的 MotionGRU 单元，将运动分解为瞬时变化和运动趋势，从而建模时空变化的运动。通过集成 Motion Highway 机制以防止深层网络中运动信息的消失，该方法在三个基准测试中实现了最先进（SOTA）的性能表现，包括人体运动、雷达回波预报和合成移动数字任务，在 GDL 和 CSI 等指标上显著提升了预测的清晰度与准确性。

ABSTRACT

This paper tackles video prediction from a new dimension of predicting spacetime-varying motions that are incessantly changing across both space and time. Prior methods mainly capture the temporal state transitions but overlook the complex spatiotemporal variations of the motion itself, making them difficult to adapt to ever-changing motions. We observe that physical world motions can be decomposed into transient variation and motion trend, while the latter can be regarded as the accumulation of previous motions. Thus, simultaneously capturing the transient variation and the motion trend is the key to make spacetime-varying motions more predictable. Based on these observations, we propose the MotionRNN framework, which can capture the complex variations within motions and adapt to spacetime-varying scenarios. MotionRNN has two main contributions. The first is that we design the MotionGRU unit, which can model the transient variation and motion trend in a unified way. The second is that we apply the MotionGRU to RNN-based predictive models and indicate a new flexible video prediction architecture with a Motion Highway that can significantly improve the ability to predict changeable motions and avoid motion vanishing for stacked multiple-layer predictive models. With high flexibility, this framework can adapt to a series of models for deterministic spatiotemporal prediction. Our MotionRNN can yield significant improvements on three challenging benchmarks for video prediction with spacetime-varying motions.

研究动机与目标

• 为解决现有视频预测模型在捕捉高度动态场景中复杂时空运动变化方面的局限性。
• 在统一框架中同时建模瞬时运动变化（如速度变化、形变）与长期运动趋势（如惯性、物理规律）。
• 通过一种新型的 Motion Highway 机制，缓解深层堆叠 RNN 架构中的运动信息消失问题。
• 开发一种灵活且可即插即用的架构，以增强广泛现有的基于 RNN 的预测模型。

提出的方法

• 提出 MotionGRU 单元，一种门控循环单元，通过累积的运动历史显式建模时空上下文中的瞬时变化与运动趋势。
• 将运动分解为两个分量：瞬时变化（瞬时变化）与运动趋势（累积的运动方向），实现在单一单元中的联合建模。
• 设计 Motion Highway 结构，实现跨层的残差式跳跃连接，保留运动信息并防止深层模型中的梯度消失。
• 将 MotionGRU 与 Motion Highway 集成到基于 RNN 的视频预测框架中，支持对现有模型（如 E3D-LSTM、PredRNN 和 Conv-TT-LSTM）的即插即用式增强。
• 使用高维隐藏状态以在序列建模过程中保持空间与时间动态，实现对运动的精确表示。
• 将该框架应用于多个基准测试，包括真实人体运动、雷达回波短临预报和合成移动数字数据集，均取得一致的性能提升。

Figure 1: Two cases of real-world spacetime-varying motions. The movements $\mathcal{F}_{t}^{l}$ (shown in black arrows) of human legs or radar echoes can be decomposed into transient variation and motion trend . Our MotionRNN captures the transient variation $\mathcal{F}_{t}^{\prime}$ ( blue arrows

实验结果

研究问题

• RQ1 将运动分解为瞬时变化与运动趋势是否能提升视频预测中对时空变化运动的建模能力？
• RQ2 如何设计一种循环单元，以同时捕捉短期运动形变与长期运动趋势？
• RQ3 Motion Highway 机制是否能有效防止深层视频预测模型中运动信息在堆叠层间的消失？
• RQ4 MotionRNN 在不同复杂度的运动场景下，能在多大程度上提升各类视频预测基准的性能？
• RQ5 MotionRNN 框架是否具备足够的灵活性，以增强多种现有基于 RNN 的预测架构？

主要发现

• 在雷达回波短临预报基准上，当与 E3D-LSTM 结合时，MotionRNN 在全局距离损失（GDL）指标上实现了 24% 的提升，表明预测结果在清晰度与准确性上均有显著增强。
• 在 V-MNIST 合成数据集上，MotionRNN 将 PredRNN 的 PSNR 从 22.1 提升至 24.0，MSE 从 35.6 降低至 25.1，证明其在复杂旋转与缩放运动上的卓越性能。
• 在人体运动预测基准中，MotionRNN 达到了最先进水平，SSIM 与 PSNR 指标均得到提升，表明其对运动细节与时间一致性的更好保留。
• 在降水短临预报任务中，MotionRNN 将 GDL 降低了 15%，显示出对具有旋转与扩散特性的动态演变雷达回波更强的预测能力。
• 可视化结果证实，学习到的运动趋势分量能准确捕捉大尺度运动模式，如气旋式旋转与向上扩散，验证了模型的物理合理性。
• Motion Highway 机制有效缓解了运动信息消失问题，实现了深层架构中的稳定训练与一致的性能增益。

Figure 2: An overview of typical architecture of predictive frameworks: RNN-based spatiotemporal predictive networks ( left ), MotionRNN framework ( right ) which embeds the MotionGRU ( blue circles) between layers of the original models. The blue dashed lines between stacked layers present the Moti