[論文レビュー] Robustness of AI-based weather forecasts in a changing climate

Thomas Rackow, Nikolay Koldunov+10 more|ArXiv.org|Sep 27, 2024

Meteorological Phenomena and SimulationsEarth and Planetary Sciences被引用数 3

ひとこと要約

本研究では、現在の気候状態（1979–2018年）のERA5再解析データにのみトレーニングされた最新鋭のAIベースの気象予報モデル（AIFS、GraphCast、Pangu-Weather）の頑健性を、前産業革命時、現在の気候、および+2.9K暖かくなった将来の気候状態の3つで評価している。トレーニングに使用されたデータは現在の気候に限定されているにもかかわらず、モデルは全気候状態で妥当な予報を生成しており、分布外一般化が顕著に示されている。しかし、2つのモデルはより暖かい気候で系の冷感バイアスを示し、より冷たい気候では温暖化バイアスを示しており、これはトレーニング時に海洋氷上および陸面データが欠落していることに起因している。

ABSTRACT

Data-driven machine learning models for weather forecasting have made transformational progress in the last 1-2 years, with state-of-the-art ones now outperforming the best physics-based models for a wide range of skill scores. Given the strong links between weather and climate modelling, this raises the question whether machine learning models could also revolutionize climate science, for example by informing mitigation and adaptation to climate change or to generate larger ensembles for more robust uncertainty estimates. Here, we show that current state-of-the-art machine learning models trained for weather forecasting in present-day climate produce skillful forecasts across different climate states corresponding to pre-industrial, present-day, and future 2.9K warmer climates. This indicates that the dynamics shaping the weather on short timescales may not differ fundamentally in a changing climate. It also demonstrates out-of-distribution generalization capabilities of the machine learning models that are a critical prerequisite for climate applications. Nonetheless, two of the models show a global-mean cold bias in the forecasts for the future warmer climate state, i.e. they drift towards the colder present-day climate they have been trained for. A similar result is obtained for the pre-industrial case where two out of three models show a warming. We discuss possible remedies for these biases and analyze their spatial distribution, revealing complex warming and cooling patterns that are partly related to missing ocean-sea ice and land surface information in the training data. Despite these current limitations, our results suggest that data-driven machine learning models will provide powerful tools for climate science and transform established approaches by complementing conventional physics-based models.

研究の動機と目的

• 現在の気候データにトレーニングされたデータ駆動型AI気象モデルが、前産業革命時および将来のより暖かい気候状態でも予報を適切に生成できるかどうかを評価すること。
• 気候変動の極端なシフト下におけるAIベースの予報の頑健性を評価し、気候予測および適応計画において不可欠である。
• 気候条件が変化した状況下でのAI予報に見られる系統的バイアスを特定し、その原因を調査すること。
• AIモデルが、物理ベースのモデルと補完的役割を果たす信頼できるツールとして、気候科学に活用できるかどうかを検証すること。

提案手法

• 現在の気候状態を想定し、1979–2018年のERA5再解析データを用いて、最新鋭のAI気象モデル3つ（AIFS、GraphCast、Pangu-Weather）をトレーニングした。
• 10日間の中距離予報（2m気温）を、前産業革命時（1955年）、現在の気候（2023年）、および+2.9K暖かくなった将来（2049年）という3つの気候状態で評価した。
• 予報精度とバイアスの変動を測定するために、ルート・マンハッタン平均二乗誤差（RMSE）とバイアス指標を用い、加重は緯度のコサインに基づじた。
• AI予報を運用中のECMWF IFS予報と比較し、バイアスの空間的パターンを分析した。
• トレーニングデータに欠落している海洋氷上および陸面データの影響を調査するため、異なる気候状態におけるモデルの挙動を比較した。
• 予報の妥当性を保証するため、日次予報の統計的平均を実施して、精度およびバイアス推定値の信頼性を高めた。

実験結果

リサーチクエスチョン

• RQ1 現在の気候データにトレーニングされたAIベースの気象予報モデルは、前産業革命時および将来のより暖かい気候状態でも妥当な予報を生成できるか？
• RQ2 AIモデルは、トレーニング分布外の状況、特に極端な気候状態下で系統的バイアスを示すか？
• RQ3 異なる気候状態における予報バイアスの空間的パターンは何か？ また、それらはトレーニングデータに欠落している物理的要因とどのように関連しているか？
• RQ4 短期予報に特化してトレーニングされたAIモデルが、気候の変化に伴う物理的に整合性のある力学をどの程度一般化できるか？
• RQ5 AIモデルは、大規模アンサンブルの生成や適応戦略の支援といった気候予測タスクにおいて、信頼できる手段として使用できるか？

主な発見

• AIFS、GraphCast、Pangu-Weatherという3つのAIモデルは、前産業革命時、現在の気候、および+2.9K暖かい将来の気候状態において、10日間の2m気温予報を妥当に生成しており、分布外一般化が顕著に示されている。
• 2つのモデル（AIFSおよびPangu-Weather）は、+2.9K暖かい気候状態でグローバル平均の冷感バイアスを示しており、トレーニングされたより冷たい現在の気候状態に近づいている。
• 前産業革命気候状態では、3つのモデルのうち2つが温暖化バイアスを示しており、冷却条件下での非対称的バイアス行動が示唆されている。
• 空間的バイアスパターンは、特に海洋および極域において複雑な地域的温暖化・冷却トレンドを示しており、海洋氷上および陸面プロセスの不完全な表現を示している。
• バイアスは、トレーニングデータに海洋氷上および陸面データが欠落していることに強く相関しており、現在のAIモデル設計における主要な限界を浮き彫りにしている。
• バイアスが存在するにもかかわらず、モデルは全気候状態で高い予報精度を維持しており、今後の気候応用において物理ベースの気候モデルと補完的に機能する強力なツールである可能性を示している。