[论文解读] Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting

Xingjian Shi, Zhourong Chen+4 more|arXiv (Cornell University)|Jun 13, 2015

Meteorological Phenomena and Simulations参考文献 27被引用 6,619

一句话总结

本文介绍 ConvLSTM，一种用于时空降水 nowcasting 的卷积扩展的 LSTM，并在雷达回波数据上显示其优于 FC-LSTM 和 ROVER。

ABSTRACT

The goal of precipitation nowcasting is to predict the future rainfall intensity in a local region over a relatively short period of time. Very few previous studies have examined this crucial and challenging weather forecasting problem from the machine learning perspective. In this paper, we formulate precipitation nowcasting as a spatiotemporal sequence forecasting problem in which both the input and the prediction target are spatiotemporal sequences. By extending the fully connected LSTM (FC-LSTM) to have convolutional structures in both the input-to-state and state-to-state transitions, we propose the convolutional LSTM (ConvLSTM) and use it to build an end-to-end trainable model for the precipitation nowcasting problem. Experiments show that our ConvLSTM network captures spatiotemporal correlations better and consistently outperforms FC-LSTM and the state-of-the-art operational ROVER algorithm for precipitation nowcasting.

研究动机与目标

• 将降水 nowcasting 形式化为一个时空序列预测问题。
• 开发 ConvLSTM，以在输入、状态和输出转移中保持空间结构。
• 创建一个端到端可训练的编码-预测网络，用于多步 nowcasting。
• 在真实雷达回波数据和合成 Moving-MNIST 数据上进行评估，以评估时空建模的优势。

提出的方法

• 将 FC-LSTM 扩展为 ConvLSTM，具有卷积的输入到状态和状态到状态的转移。
• 将输入、单元输出、隐藏状态和门表示为具有空间维度的三维张量。
• 在编码-预测架构中堆叠 ConvLSTM 层以产生多步预测。
• 使用 1x1 卷积从拼接的预测状态生成最终的多帧预测。
• 通过时间反向传播端到端训练，在序列上使用交叉熵损失。

实验结果

研究问题

• RQ1 ConvLSTM 能否在雷达回波数据上比 FC-LSTM 更好地捕捉时空相关性？
• RQ2 增加状态到状态的卷积核是否能提升对时空运动模式的建模？
• RQ3 与基于光流的 ROVER 方法在降水 nowcasting 上的表现相比，ConvLSTM 的表现如何？
• RQ4 更深的 ConvLSTM 网络是否在参数数量可控的情况下获得更好的预测？
• RQ5 ConvLSTM 在域外和多变运动场景下是否具有鲁棒性？

主要发现

模型	降雨-MSE	CSI	FAR	POD	相关性
ConvLSTM(3x3)-3x3-64-3x3-64	1.420	0.577	0.195	0.660	0.908
Rover1	1.712	0.516	0.308	0.636	0.843
Rover2	1.684	0.522	0.301	0.642	0.850
Rover3	1.685	0.522	0.301	0.642	0.849
FC-LSTM-2000-2000	1.865	0.286	0.335	0.351	0.774

• ConvLSTM 在合成数据和雷达数据上捕捉时空相关性方面优于 FC-LSTM。
• 更大的状态到状态卷积核（如 5x5、9x9）相较于 1x1 能更好地建模运动模式。
• 更深的 ConvLSTM 模型在参数更少的情况下也能取得更好结果。
• ConvLSTM 在降水 nowcasting 指标上优于基于光流的 ROVER。
• 在雷达数据集上，ConvLSTM 的 CSI 更高、误警率更低，降雨 MSE 与相关性也更好。