[论文解读] CMS-LSTM: Context Embedding and Multi-Scale Spatiotemporal Expression LSTM for Predictive Learning

Zenghao Chai, Zhengzhuo Xu+3 more|arXiv (Cornell University)|Feb 6, 2021

Hydrological Forecasting Using AI被引用 4

一句话总结

该论文提出CMS-LSTM，一种新颖的时空循环网络，通过上下文嵌入（CE）模块实现迭代上下文交互，以及多尺度时空表达（SE）模块实现细粒度、多尺度特征表示，从而增强预测学习能力。通过将这些模块整合到ConvLSTM中，该模型在Moving MNIST和台风预测基准上实现了参数更少的SOTA性能，显著提升了PSNR、SSIM，并降低了MSE和MAE。

ABSTRACT

Spatiotemporal predictive learning (ST-PL) is a hotspot with numerous applications, such as object movement and meteorological prediction. It aims at predicting the subsequent frames via observed sequences. However, inherent uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. To tackle the increasing ambiguity during forecasting, we design CMS-LSTM to focus on context correlations and multi-scale spatiotemporal flow with details on fine-grained locals, containing two elaborate designed blocks: Context Embedding (CE) and Spatiotemporal Expression (SE) blocks. CE is designed for abundant context interactions, while SE focuses on multi-scale spatiotemporal expression in hidden states. The newly introduced blocks also facilitate other spatiotemporal models (e.g., PredRNN, SA-ConvLSTM) to produce representative implicit features for ST-PL and improve prediction quality. Qualitative and quantitative experiments demonstrate the effectiveness and flexibility of our proposed method. With fewer params, CMS-LSTM outperforms state-of-the-art methods in numbers of metrics on two representative benchmarks and scenarios. Code is available at https://github.com/czh-98/CMS-LSTM.

研究动机与目标

• 解决长期时空序列预测中不确定性增加和细节模糊的问题。
• 提升输入帧与隐藏状态表征之间的相关性，以在长序列中保持时空一致性。
• 通过表达主导变化并抑制微小区域，捕捉细粒度的多尺度时空动态。
• 设计可迁移的模块化组件（CE和SE模块），可集成至现有时空模型中以提升性能。
• 在多样化数据集和架构上验证所提模块的有效性与泛化能力。

提出的方法

• 引入上下文嵌入（CE）模块，利用堆叠的轻量级CNN层迭代重加权输入和隐藏状态，以增强上下文交互。
• 采用自注意力机制实现多尺度时空表达（SE）模块，从三个空间尺度提取特征，突出动态区域并抑制静态或不重要的区域。
• 将CE和SE模块整合至改进的ConvLSTM架构中，其中CE在LSTM门之前处理输入和隐藏状态，SE则对最终输出状态进行优化。
• 采用三阶段处理流程：(1) CE模块优化输入和上下文状态，(2) 标准LSTM门计算候选单元状态和隐藏状态，(3) SE模块通过多尺度注意力增强最终输出。
• 在CE和SE模块中应用残差连接和归一化，以稳定训练并改善梯度流动。
• 通过设计确保模块化，使CE和SE模块可无缝插入PredRNN和SA-ConvLSTM等其他模型中，无需对架构进行大规模修改。

实验结果

研究问题

• RQ1 输入与隐藏状态之间的迭代上下文交互是否能提升长期时空预测的准确性？
• RQ2 潜在状态中的多尺度特征表达是否能增强对序列中细粒度动态变化的建模能力？
• RQ3 与标准ConvLSTM相比，CE和SE模块在多大程度上减少了预测帧中的不确定性和模糊性？
• RQ4 CE和SE模块是否可有效迁移至其他SOTA时空模型中以提升其性能？
• RQ5 SE模块的不同配置（如1尺度 vs. 3尺度）对预测质量与鲁棒性有何影响？

主要发现

• CMS-LSTM在Moving MNIST和台风预测数据集上均达到SOTA性能，Moving MNIST的PSNR为21.955，台风数据集的PSNR为28.891，分别较基线ConvLSTM提升+3.432 dB和+2.538 dB。
• 消融实验表明，移除CE模块后，Moving MNIST的PSNR下降3.432 dB，台风数据集下降2.538 dB，证实了上下文交互的关键作用。
• 3尺度SE模块表现最佳，较基线分别将MSE降低36.8（Moving MNIST）和4.16（台风数据集），凸显多尺度建模的重要性。
• 当移植至PredRNN和SA-ConvLSTM时，CE和SE模块持续提升各项指标，PSNR最高提升+3.607 dB和+1.227 dB，证明其泛化能力。
• 该模型以更少的参数量实现更优结果，表明其在捕捉复杂时空动态方面具备更高的参数效率。
• 定性结果表明，预测帧更清晰，运动细节更分明，尤其在高动态变化区域模糊减少，证实了特征表达能力的提升。