[論文レビュー] ClimateLearn: Benchmarking Machine Learning for Weather and Climate Modeling

Tung Nguyen, Jason Jewik+3 more|arXiv (Cornell University)|Jul 4, 2023

Meteorological Phenomena and Simulations被引用数 9

ひとこと要約

ClimateLearnは、天気と気候のタスク（予測、ダウンスケーリング、気候予測）のエンドツーエンドMLベンチマークを提供するオープンソースのPyTorchライブラリで、再現性を向上させるためのデータセット、モデル、評価ツールを備えています。

ABSTRACT

Modeling weather and climate is an essential endeavor to understand the near- and long-term impacts of climate change, as well as inform technology and policymaking for adaptation and mitigation efforts. In recent years, there has been a surging interest in applying data-driven methods based on machine learning for solving core problems such as weather forecasting and climate downscaling. Despite promising results, much of this progress has been impaired due to the lack of large-scale, open-source efforts for reproducibility, resulting in the use of inconsistent or underspecified datasets, training setups, and evaluations by both domain scientists and artificial intelligence researchers. We introduce ClimateLearn, an open-source PyTorch library that vastly simplifies the training and evaluation of machine learning models for data-driven climate science. ClimateLearn consists of holistic pipelines for dataset processing (e.g., ERA5, CMIP6, PRISM), implementation of state-of-the-art deep learning models (e.g., Transformers, ResNets), and quantitative and qualitative evaluation for standard weather and climate modeling tasks. We supplement these functionalities with extensive documentation, contribution guides, and quickstart tutorials to expand access and promote community growth. We have also performed comprehensive forecasting and downscaling experiments to showcase the capabilities and key features of our library. To our knowledge, ClimateLearn is the first large-scale, open-source effort for bridging research in weather and climate modeling with modern machine learning systems. Our library is available publicly at https://github.com/aditya-grover/climate-learn.

研究の動機と目的

• 天気と気候の再現性のあるML研究を、データセット、モデル、評価プロトコルを標準化して推進する。
• 予測、ダウンスケーリング、気候予測をカバーするエンドツーエンドMLパイプラインを提供する。
• 従来のベースラインと堅牢な評価・可視化ユーティリティを備えた最先端のDLモデルを提供する。
• クロスデータセットのロバスト性と極端イベントのベンチマークを促進し、モデルの一般化をテストする。

提案手法

• タスク、データセット、モデル、評価の4つのコンポーネントを備えたオープンソースのPyTorchライブラリ。
• ERA5、CMIP6、PRISMデータと複数の解像度・グリッド構成をサポートする。
• 従来のベースライン（気候学、パーシステンス、線形回帰）とDLモデル（ResNet、U-Net、ViT）および pretrained/importableモデルを実装する。
• 決定論的・確率的予測、ダウンスケーリング、気候予測の指標を提供し、緯度加重バリアントや視覚診断を含む。
• 継続的・直接的・反復的予測分析を可能にし、訓練戦略とリードタイム性能を比較する。
• 豊富なドキュメント、チュートリアル、再現可能なベンチマーク設定を含む。

Figure 2: Performance on forecasting three variables at different lead times. Solid lines are deep learning methods, dashed lines are simple baselines, and the dotted line is the physics-based model. Lower RMSE and higher ACC indicate better performance.

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは標準データセットに対して従来のベースライン（気候学、パーシスタンス、線形回帰）と比べて予測タスク（天気予報、ダウンスケーリング、気候予測）でどの程度優れているか。
• RQ2 予測戦略（直接・連続・反復）が予測性能と計算負荷に与える影響はどの程度か。
• RQ3 MLモデルは極端な気象イベントと分布シフト（ERA5対CMIP6）に対してどれだけロバストか。
• RQ4 DLモデルはデータセット間で効果的に転移できるか（CMIP6/ERA5で訓練、ERA5からPRISMへのダウンスケーリングなど）。
• RQ5 ClimateLearnの不確実性評価と診断提供能力の定性的・定量的な特性はどのようになるか。

主な発見

• 深層学習法（特にResNet）は、気象予測において一般に気候学とパーシスタンスを上回るが、物理ベースのIFSには一部設定で遅れを取ることがある。
• 連続予測は長いリードタイムで直接予測に追いつくか超えることがあり得る一方、反復予測は誤差蓄積のために劣ることが多い。
• Extreme-ERA5の結果では深層学習とパーシスタンスがERA5ベースラインを上回る一方、極端条件下で気候学は劣化する。
• クロスデータセット実験ではCMIP6での訓練がERA5の評価スコアを改善する場合があり、分布シフトに対するある程度のロバスト性を示唆する。
• DL法によるダウンスケーリングはRMSEで最近傍/双一次補間を上回るが、いくつかの設定で偏りが生じる場合がある。クロスデータセット試験では相関係数Pearsonが高い。

Figure 3: Comparison of direct, continuous, and iterative forecasting with ResNet architecture.