[論文レビュー] KARINA: An Efficient Deep Learning Model for Global Weather Forecast

Minjong Cheon, Yo-Hwan Choi+4 more|arXiv (Cornell University)|Mar 13, 2024

Computational Physics and Python Applications被引用数 4

ひとこと要約

KARINA は、ConvNext、SENet、Geocyclic Padding を組み合わせた計算効率の高い深層学習モデルであり、Pangu-Weather や GraphCast などの高分解能モデルと同等の予測精度を達成している。4枚の NVIDIA A100 GPU と 12 時間未満の学習で実現しており、2.5° 解像度のデータを用いた学習にもかかわらず、100 倍少ないピクセル数で SOTA モデルと同等の性能を発揮している。7 日予報のリードタイムで ECMWF S2S 再予報を上回り、計算リソースを大幅に削減したにもかかわらず、最先端の性能を達成している。

ABSTRACT

Deep learning-based, data-driven models are gaining prevalence in climate research, particularly for global weather prediction. However, training the global weather data at high resolution requires massive computational resources. Therefore, we present a new model named KARINA to overcome the substantial computational demands typical of this field. This model achieves forecasting accuracy comparable to higher-resolution counterparts with significantly less computational resources, requiring only 4 NVIDIA A100 GPUs and less than 12 hours of training. KARINA combines ConvNext, SENet, and Geocyclic Padding to enhance weather forecasting at a 2.5° resolution, which could filter out high-frequency noise. Geocyclic Padding preserves pixels at the lateral boundary of the input image, thereby maintaining atmospheric flow continuity in the spherical Earth. SENet dynamically improves feature response, advancing atmospheric process modeling, particularly in the vertical column process as numerous channels. In this vein, KARINA sets new benchmarks in weather forecasting accuracy, surpassing existing models like the ECMWF S2S reforecasts at a lead time of up to 7 days. Remarkably, KARINA achieved competitive performance even when compared to the recently developed models (Pangu-Weather, GraphCast, ClimaX, and FourCastNet) trained with high-resolution data having 100 times larger pixels. Conclusively, KARINA significantly advances global weather forecasting by efficiently modeling Earth's atmosphere with improved accuracy and resource efficiency.

研究の動機と目的

• 高分解像の深層学習モデルを用いたグローバル気象予報の学習にかかる計算コストの低減を図ること。
• 膨大な計算リソースに依存せずに、2.5° 解像度で高い予測精度を達成すること。
• 新規なアーキテクチャ的要素を用いて、気候データにおける空間的および垂直的特徴表現を向上させること。
• 著しく短い学習時間と低いハードウェア要件で SOTA の性能を達成するモデルの開発

提案手法

• KARINA は、ERA5 データセットにおける高次元空間的データ処理に効率的な ConvNext を統合している。
• チャンネル単位の特徴再補正を実現する SENet を組み込み、垂直方向の気象プロセスの表現を向上させている。
• Geocyclic Padding を導入することで、球体地球の投影における境界の連続性が保たれ、大気の流れの整合性が維持される。
• 標準的な自己回帰的予測設定を用い、2.5° 解像度の日平均 ERA5 再解析データでモデルを学習している。
• 特定の変数における性能向上を図るため、ファインチューニング戦略を適用しており、汎化性と耐障害性が向上している。
• 推論効率とスケーラビリティを最適化したアーキテクチャ設計により、最小限のハードウェアでも迅速な学習が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算リソースで、2.5° 解像度で SOTA の気象予報精度を達成できる深層学習モデルは存在するか？
• RQ2 Geocyclic Padding は、グローバル気象データの赤道および側面境界におけるモデル性能にどのように寄与するか？
• RQ3 SENet は、ConvNext をベースとするアーキテクチャにおいて、大気の垂直プロセスモデリングにどの程度向上をもたらすか？
• RQ4 KARINA は、ECMWF S2S 再予報および Pangu-Weather や GraphCast などの他の SOTA モデルと比較して、どの程度のスキルを示すか？
• RQ5 低分解像データで学習したモデルは、100 倍高い分解像入力で学習したモデルと同等の性能を発揮できるか？

主な発見

• KARINA は、Z500 の 7 日予報 RMSE を 463.65 に達成し、Pangu-Weather（504.90）や GraphCast（466.53）とほぼ同等の精度を示したが、ピクセル数は 1/100 にまで削減された。
• TCWV、T2M、Z500 すべての変数において、7 日間のリードタイムを通じて、ECMWF S2S 再予報を上回り、RMSE が全期間で低く抑えられていた。
• Geocyclic Padding により、北ヨーロッパにおける高気圧システムの振幅や寒冷帯の異常が著しく改善され、ERA5 のノース・アトランティック・オシレーションのパターンに近づいた。
• SENet により、南西風や北アフリカにおける温暖化の微細構造を捉える能力が向上した。
• KARINA は、わずか 4 枚の NVIDIA A100 GPU で 12 時間未満の学習で競争力ある性能を達成した。Pangu-Weather（192 枚の V100、64 日間）に比べて、必要なリソースはごくわずかであった。
• ファインチューニングを施した KARINA_Tuned は、ベースモデルと比較して平均で 0.8% の RMSE 減少を達成し、ファインチューニング戦略の有効性を示した。