[论文解读] MS-nowcasting: Operational Precipitation Nowcasting with Convolutional LSTMs at Microsoft Weather

Sylwester Klocek, Haiyu Dong+8 more|arXiv (Cornell University)|Nov 18, 2021

Meteorological Phenomena and Simulations参考文献 17被引用 17

一句话总结

MS-nowcasting 是一种基于 ConvLSTM 的深度学习模型，通过整合大感受野（LV）和 HRRR 物理驱动预报，提升了业务化降水临近预报性能，在 6 小时预报时效内，多种指标下相比光流法和 HRRR 基线模型性能提升 20-25%，同时在单张 GPU 上高效运行。

ABSTRACT

We present the encoder-forecaster convolutional long short-term memory (LSTM) deep-learning model that powers Microsoft Weather's operational precipitation nowcasting product. This model takes as input a sequence of weather radar mosaics and deterministically predicts future radar reflectivity at lead times up to 6 hours. By stacking a large input receptive field along the feature dimension and conditioning the model's forecaster with predictions from the physics-based High Resolution Rapid Refresh (HRRR) model, we are able to outperform optical flow and HRRR baselines by 20-25% on multiple metrics averaged over all lead times.

研究动机与目标

• 为微软天气开发一种高精度、低延迟的业务化降水临近预报系统。
• 克服传统 NWP 模型（如 HRRR）的局限性，例如存在初始化延迟且预报时效超过数小时后性能下降。
• 通过引入长距离空间上下文和物理先验知识，超越仅依赖雷达的深度学习方法。
• 实现实时、高更新频率的预报，且硬件需求极低，支持极端天气的早期预警。
• 通过计算高效的架构，在短时降水预报中实现最先进性能。

提出的方法

• 模型采用三层编码器-预报器 ConvLSTM 架构，输入为 MRMS 数据集中的雷达反射率序列。
• 提出一种新型大视窗（LV）技术，将 1280×1280 km 的雷达场划分为 25 个空间片段，并堆叠为 25×256×256 特征张量，以增强空间上下文信息。
• 预报器通过 HRRR 雷达反射率预报进行条件控制，提供物理一致性，并提升对降水生成与消散的预测能力。
• 采用 MAE 与 MSE 损失结合 B-MAE 阈值、Adam 优化器配合随机权重平均，以及梯度裁剪，以实现稳定训练。
• 利用 DeepSpeed 框架加速训练与推理，实现多 GPU 高效训练与低延迟推理。
• 模型在 2018 年 MRMS 数据的 1000 万个 440 分钟序列上进行训练，输入 80 分钟，目标输出 360 分钟，测试数据使用 2019 年数据。

实验结果

研究问题

• RQ1 是否能够通过整合大空间上下文和物理驱动预报的深度学习模型，在降水临近预报中超越仅依赖雷达和 NWP 的基线模型？
• RQ2 将 HRRR 输出用于条件控制对 ConvLSTM 预报器的预测精度和偏差有何影响？
• RQ3 将输入感受野扩展至标准空间视窗之外，对临近预报性能有何影响？
• RQ4 是否能够以极低硬件需求实现实时部署，使 8 张 GPU 上的延迟低于 2 分钟？
• RQ5 不同损失函数与优化策略对生成雷达反射率预报的平滑性和真实性有何影响？

主要发现

• 同时采用大视窗（LV）和 HRRR 条件的 MS-nowcasting 模型在前 2 小时的平均绝对误差（MAE）达到 3.23 dBZ，优于所有基线模型，包括 HRRR（5.54 dBZ）和光流法（4.39 dBZ）。
• 仅使用 LV 的模型将 MAE 降低至 3.28 dBZ，并将 12 dBZ 阈值下的 F1 分数提升至 0.808，证明了扩展空间上下文的有效性。
• 加入 HRRR 条件后，MAE 提升至 3.55 dBZ，但 F1 分数略有下降（0.780），表明在偏差与阈值检测之间存在权衡。
• 完整模型（LV + HRRR）在所有指标上表现最佳，MAE 为 3.23 dBZ，F1 为 0.813，MS-SSIM 为 0.6721，PSNR 为 24.03，全面优于所有基线模型。
• 从雷达数据可用到端到端完成预报生成耗时约 6 分钟，8 张 GPU 上的推理延迟低于 2 分钟。
• 尽管性能优异，但模型预测结果因 MAE+MSE 损失而显得过于平滑，提示未来可借助 GAN 基损失函数进一步优化。