[论文解读] FDNet: A Deep Learning Approach with Two Parallel Cross Encoding Pathways for Precipitation Nowcasting

Biying Yan, Chao Yang+3 more|arXiv (Cornell University)|May 6, 2021

Flood Risk Assessment and Management参考文献 29被引用 4

一句话总结

FDNet 提出了一种用于降水临近预报的新型深度学习架构，将光流场运动与形态变形分离为两条并行的交叉编码路径。通过联合建模平移运动与形状演变，FDNet 在长期预测和强降雨事件中实现了最先进性能，其在清晰度、准确性和时间稳定性方面均优于现有方法。

ABSTRACT

With the goal of predicting the future rainfall intensity in a local region over a relatively short period time, precipitation nowcasting has been a long-time scientific challenge with great social and economic impact. The radar echo extrapolation approaches for precipitation nowcasting take radar echo images as input, aiming to generate future radar echo images by learning from the historical images. To effectively handle complex and high non-stationary evolution of radar echoes, we propose to decompose the movement into optical flow field motion and morphologic deformation. Following this idea, we introduce Flow-Deformation Network (FDNet), a neural network that models flow and deformation in two parallel cross pathways. The flow encoder captures the optical flow field motion between consecutive images and the deformation encoder distinguishes the change of shape from the translational motion of radar echoes. We evaluate the proposed network architecture on two real-world radar echo datasets. Our model achieves state-of-the-art prediction results compared with recent approaches. To the best of our knowledge, this is the first network architecture with flow and deformation separation to model the evolution of radar echoes for precipitation nowcasting. We believe that the general idea of this work could not only inspire much more effective approaches but also be applied to other similar spatiotemporal prediction tasks

研究动机与目标

• 为利用雷达回波数据解决高精度短期降水临近预报的挑战。
• 对雷达回波的复杂非平稳演变过程进行建模，包括整体运动与局部形变。
• 提升预测的可靠性与清晰度，尤其针对强降雨事件与更长的预报时长。
• 将光流与形态变形分离，以实现更精确的时空建模。

提出的方法

• FDNet 采用两条并行的交叉编码路径：一条用于光流场运动的流编码器，另一条用于形态变化的形变编码器。
• 流编码器利用基于光流技术的流估计模块，捕捉雷达回波的平移运动。
• 形变编码器通过一种形状感知编码机制，对局部形状变化（包括累积、消散与扩展）进行建模。
• 两条路径的输出经过拼接后输入共享解码器，用于预测未来的雷达回波。
• 网络在真实雷达回波序列上进行端到端训练，采用重建损失以最小化预测误差。
• 消融实验验证了两条路径的必要性，可视化结果表明：流路径负责全局运动，形变路径负责局部强度变化。

实验结果

研究问题

• RQ1 将光流与形态变形分离是否能提升降水临近预报性能？
• RQ2 联合建模流场与形变如何减少长期预测中的图像模糊？
• RQ3 形变分支在预测强降雨与新风暴生成方面有多大提升作用？
• RQ4 两条并行路径在捕捉全局运动与局部结构变化方面有何差异？

主要发现

• FDNet 在两个真实雷达回波数据集上均达到最先进性能，在定量指标与视觉质量方面均优于近期最先进方法。
• 消融实验确认，若移除形变编码器，性能显著下降，证明其在捕捉局部演变中的关键作用。
• 形变分支在预测强降雨（如 >50 dBZ）与新风暴生成方面尤为有效，可视化结果展示了其对复杂演变模式的准确捕捉能力。
• 仅使用流路径的模型结果与 FDNet 相似，但在强降雨预测方面存在残余差距，凸显双路径设计的必要性。
• 可视化结果表明，与基线模型相比，FDNet 在长期预报中能保持更清晰的预测结果，模糊程度更低。
• 该模型成功捕捉了诸如回波同时发生消散与扩展等复杂动力学行为，而其他模型则无法准确预测。