[论文解读] Model weights for a Weather4cast 2021 Challenge Stage 1 solution

Jussi Leinonen|arXiv (Cornell University)|Jul 14, 2021

Meteorological Phenomena and Simulations被引用 5

一句话总结

本论文提出了一种时空神经网络，采用循环-卷积编码器-预测器架构与残差块及U-Net风格跳跃连接，利用一种新型GRU变体（ResGRU）对卫星气象数据进行32个未来时间步的预测。该模型在Weather4cast 2021挑战赛第一阶段中取得了最先进性能，生成了清晰的短期预测，随时间推移逐渐模糊，以反映不确定性增加的趋势。

ABSTRACT

This repository contains the pre-trained model weights for the TensorFlow/Keras models used in the Weather4cast 2021 Challenge Stage 1 by the team "antfugue". The model code can be found in https://github.com/jleinonen/weather4cast-stage1 along with instructions on where to extract the weights.

研究动机与目标

• 开发一种深度学习模型，基于4个初始帧预测大气场在32个时间步内的演变。
• 解决在高分辨率、多变量卫星图像中建模复杂时空天气动态的挑战。
• 通过结合循环单元与卷积编码器及跳跃连接，提升特征传播效率，从而提高短期天气预测精度。
• 通过定制化损失函数，应对不同变量的特定挑战，如缺失数据、概率输出和二值云掩膜。
• 通过在核心区域（R1–R3）上进行训练，实现在未见区域（R4–R6）上的迁移学习能力。

提出的方法

• 该模型采用编码器-预测器架构，包含四个使用残差块和门控循环单元（GRUs）的循环下采样阶段。
• 每个编码器阶段通过步长大于1的卷积实现空间下采样，并通过共享GRU层处理序列，隐藏状态初始化为零。
• 预测器部分与编码器对称，包含上采样、残差块及来自编码器的跳跃连接，以保留空间细节。
• 引入一种新型ResGRU变体，用残差块替代GRU中的标准卷积，以改善特征学习与梯度流动。
• 模型采用改进的均方误差（MSE）损失函数，按变量调整：温度变量考虑缺失数据，对概率输出asii_turb_trop_prob使用截断logits，对二值cma使用0/1量化。
• 训练在八张NVIDIA V100 GPU上进行，批量大小为8，采用混合精度训练与学习率调度。

实验结果

研究问题

• RQ1 结合跳跃连接的混合循环-卷积网络能否有效建模基于卫星的气象数据的时空演变？
• RQ2 与标准ConvGRU相比，将残差块集成到GRUs中（即ResGRU）在预测精度与训练稳定性方面有何提升？
• RQ3 在迁移学习设置下，基于核心区域（R1–R3）训练的模型在未见区域（R4–R6）上的泛化能力如何？
• RQ4 预测的清晰度与模糊度如何随时间演变？模型是否在长期预测中反映了不确定性增加的趋势？
• RQ5 针对非独立同分布或二值气象变量，使用变量特异性损失调整是否能提升MSE等指标下的模型性能？

主要发现

• 基于ResGRU的模型在保留测试集上表现最佳，核心竞赛的最终验证指标为0.4987，迁移学习类别的验证指标为0.4607。
• 模型在早期时间步（T=1至T=8）生成了清晰的预测，如风暴单体和温度锋面等特征清晰可辨。
• 预测质量随时间退化，后期帧（T=16至T=32）中观察到逐渐模糊，反映出长期预测中不确定性增加。
• 模型成功捕捉了对流系统的运动模式，如图3所示，降水特征在帧间保持连贯运动。
• 与ConvGRU变体相比，ResGRU变体将温度的验证MSE从0.004564降低至0.004356，表明性能有所提升。
• 模型展现出强大的泛化能力，在核心与迁移学习赛道均取得顶尖成绩，证实其在多样化地理区域中的鲁棒性。