[论文解读] KARINA: An Efficient Deep Learning Model for Global Weather Forecast

Minjong Cheon, Yo-Hwan Choi+4 more|arXiv (Cornell University)|Mar 13, 2024

Computational Physics and Python Applications被引用 4

一句话总结

KARINA 是一种计算高效的深度学习模型，用于全球天气预报，结合了 ConvNext、SENet 和 Geocyclic Padding，实现了与 Pangu-Weather 和 GraphCast 等高分辨率模型相当的预报精度，仅使用 4 张 NVIDIA A100 GPU 和不到 12 小时的训练时间。在 7 天预报时效下，其性能优于 ECMWF S2S 重新分析结果，且在仅使用 2.5° 分辨率数据（像素数仅为 100 分之一）的情况下，达到了 SOTA 模型的水平。

ABSTRACT

Deep learning-based, data-driven models are gaining prevalence in climate research, particularly for global weather prediction. However, training the global weather data at high resolution requires massive computational resources. Therefore, we present a new model named KARINA to overcome the substantial computational demands typical of this field. This model achieves forecasting accuracy comparable to higher-resolution counterparts with significantly less computational resources, requiring only 4 NVIDIA A100 GPUs and less than 12 hours of training. KARINA combines ConvNext, SENet, and Geocyclic Padding to enhance weather forecasting at a 2.5° resolution, which could filter out high-frequency noise. Geocyclic Padding preserves pixels at the lateral boundary of the input image, thereby maintaining atmospheric flow continuity in the spherical Earth. SENet dynamically improves feature response, advancing atmospheric process modeling, particularly in the vertical column process as numerous channels. In this vein, KARINA sets new benchmarks in weather forecasting accuracy, surpassing existing models like the ECMWF S2S reforecasts at a lead time of up to 7 days. Remarkably, KARINA achieved competitive performance even when compared to the recently developed models (Pangu-Weather, GraphCast, ClimaX, and FourCastNet) trained with high-resolution data having 100 times larger pixels. Conclusively, KARINA significantly advances global weather forecasting by efficiently modeling Earth's atmosphere with improved accuracy and resource efficiency.

研究动机与目标

• 解决高分辨率深度学习模型在全局天气预报训练中计算成本过高的问题。
• 在不依赖大规模计算资源的前提下，提升 2.5° 分辨率下的预报精度。
• 通过新型架构组件增强气候数据中空间和垂直特征的表征能力。
• 开发一种在显著减少训练时间和硬件需求的前提下实现 SOTA 性能的模型。

提出的方法

• KARINA 集成 ConvNext，以高效处理 ERA5 数据集中高维空间数据的处理。
• 引入 SENet 实现通道级特征重校准，提升垂直柱大气过程的表征能力。
• 提出 Geocyclic Padding，以在球形地球投影的边界处保持连续性，维持大气流场的完整性。
• 基于每日平均的 ERA5 再分析数据，在 2.5° 分辨率下使用标准自回归预报设置进行训练。
• 采用微调策略以提升特定变量的性能，增强模型的泛化能力和鲁棒性。
• 架构经过优化，以实现推理效率和可扩展性，支持在极简硬件上实现快速训练。

实验结果

研究问题

• RQ1 能否在计算资源极少的情况下，使深度学习模型在 2.5° 分辨率下实现 SOTA 天气预报精度？
• RQ2 Geocyclic Padding 如何改善全球天气数据在赤道和侧向边界处的模型性能？
• RQ3 SENet 在基于 ConvNext 的架构中，对垂直大气过程建模的增强程度如何？
• RQ4 KARINA 在技能表现上与 ECMWF S2S 重新分析结果及其他 SOTA 模型（如 Pangu-Weather 和 GraphCast）相比如何？
• RQ5 在低分辨率数据上训练的模型，能否达到在 100 倍更高分辨率输入下训练的模型的性能？

主要发现

• KARINA 在 7 天预报中对 Z500 的 RMSE 达到 463.65，与 Pangu-Weather（504.90）和 GraphCast（466.53）非常接近，尽管其像素数量仅为后者的 1/100。
• 在 TCWV、T2M 和 Z500 的所有 7 天预报中，KARINA 均优于 ECMWF S2S 重新分析结果，且在整个预报时效内 RMSE 更低。
• Geocyclic Padding 显著改善了北大西洋地区高压系统和冷区异常的振幅，与 ERA5 的北大西洋涛动模式高度一致。
• SENet 提升了模型捕捉细尺度特征（如西南风和北非区域变暖）的能力。
• KARINA 仅用 4 张 NVIDIA A100 GPU 和不到 12 小时的训练时间，即实现了具有竞争力的性能，远低于 Pangu-Weather（192 张 V100，64 天）所需的资源。
• 经过微调的 KARINA 版本（KARINA_Tuned）相比基础模型平均将 RMSE 降低了 0.8%，证明了微调策略的有效性。