[论文解读] CMS-LSTM: Context-Embedding and Multi-Scale Spatiotemporal-Expression LSTM for Video Prediction.

Zenghao Chai, Chun Yuan+2 more|arXiv (Cornell University)|Feb 6, 2021

Human Pose and Action Recognition参考文献 22被引用 8

一句话总结

该论文提出CMS-LSTM，一种轻量级视频预测模型，通过集成上下文嵌入（CE）块和时空表达（SE）块，改进了ConvLSTM，以捕捉长距离上下文相关性及多尺度时空动态。该方法在Moving MNIST和TaxiBJ数据集上实现了最先进性能，且参数量更少。

ABSTRACT

Extracting variation and spatiotemporal features via limited frames remains as an unsolved and challenging problem in video prediction. Inherent uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. To tackle the problem, we focus on capturing context correlations and multi-scale spatiotemporal flows, then propose CMS-LSTM by integrating two effective and lightweight blocks, namely Context-Embedding (CE) and Spatiotemporal-Expression (SE) block, into ConvLSTM backbone. CE block is designed for abundant context interactions, while SE block focuses on multi-scale spatiotemporal expression in hidden states. The newly introduced blocks also facilitate other spatiotemporal models (e.g., PredRNN, SA-ConvLSTM) to produce representative implicit features for video prediction. Qualitative and quantitative experiments demonstrate the effectiveness and flexibility of our proposed method. We use fewer parameters to reach markedly state-of-the-art results on Moving MNIST and TaxiBJ datasets in numbers of metrics. All source code is available at this https URL.

研究动机与目标

• 解决从有限视频帧中提取有意义时空特征的挑战，尤其是在连续帧间存在高不确定性的情况下。
• 通过更有效地建模上下文相关性和多尺度时空动态，提升长期视频预测性能。
• 设计轻量级、模块化的组件（CE和SE块），不仅可增强所提出的模型，还可适用于现有时空架构（如PredRNN和SA-ConvLSTM）。
• 在不显著增加模型复杂度的前提下，实现高效且具有代表性的特征学习。

提出的方法

• 将上下文嵌入（CE）块集成到ConvLSTM主干网络中，通过类似注意力的机制增强空间与时间上下文之间的交互。
• 引入时空表达（SE）块，通过在不同感受野上建模时空模式，捕捉隐藏状态中的多尺度特征。
• 设计CE和SE块为轻量级且与现有时空模型兼容，实现即插即用的性能提升。
• 采用标准视频预测损失函数进行端到端训练，CE和SE块在每个时间步动态优化隐藏表示。
• 利用SE块的层次化特征表示，建模跨多个尺度的局部与全局运动模式。
• 通过参数共享和通道注意力机制最小化额外参数，确保参数效率。

实验结果

研究问题

• RQ1 在帧数稀缺且帧间不确定性高的情况下，上下文感知的特征学习是否能提升长期视频预测性能？
• RQ2 多尺度时空建模在多大程度上能增强视频序列中动态模式的表征能力？
• RQ3 CE和SE块在多种视频预测基准上的性能提升效果如何？
• RQ4 所提出的模块是否可泛化至基于基础ConvLSTM架构之外的其他时空模型？

主要发现

• CMS-LSTM在Moving MNIST数据集上多个评估指标下均达到最先进性能，预测误差低于先前方法。
• 在TaxiBJ数据集上，模型在长期视频预测中表现优异，尤其在捕捉复杂城市移动模式方面表现出色。
• 该模型在参数量少于竞争方法的前提下实现优异性能，表明其具有高参数效率。
• CE和SE块显著改善了特征表示，定性可视化结果表明未来帧预测更加连贯且合理。
• CE和SE块的即插即用特性使得其在PredRNN和SA-ConvLSTM等其他模型上也能实现一致的性能提升。
• 消融实验表明，CE和SE组件均对最终性能有显著贡献，其中SE块在建模多尺度动态方面尤为有效。