[論文レビュー] Learning and Dynamical Models for Sub-seasonal Climate Forecasting: Comparison and Collaboration

Sijie He, Xinyan Li+4 more|arXiv (Cornell University)|Sep 29, 2021

Meteorological Phenomena and Simulations被引用数 4

ひとこと要約

本研究では、米国西部における2週間から2か月の期間の季節予測の分野で、最先端の機械学習（ML）モデルと物理ベースの力学的モデル（SubX: GMAO-GEOS および NCEP-CFSv2）を比較している。平均的にはMLモデルが力学的モデルを上回るが、予測がより慎重（保守的）であることが判明した。特に、SubXの予測を入力特徴量として組み込むことで、MLモデルの性能が著しく向上し、特に難易度の高い地域（例：米国中央部）において顕著である。これは、ハイブリッドモデリングが、より良い季節予測を実現する上で価値があることを示している。

ABSTRACT

Sub-seasonal climate forecasting (SSF) is the prediction of key climate variables such as temperature and precipitation on the 2-week to 2-month time horizon. Skillful SSF would have substantial societal value in areas such as agricultural productivity, hydrology and water resource management, and emergency planning for extreme events such as droughts and wildfires. Despite its societal importance, SSF has stayed a challenging problem compared to both short-term weather forecasting and long-term seasonal forecasting. Recent studies have shown the potential of machine learning (ML) models to advance SSF. In this paper, for the first time, we perform a fine-grained comparison of a suite of modern ML models with start-of-the-art physics-based dynamical models from the Subseasonal Experiment (SubX) project for SSF in the western contiguous United States. Additionally, we explore mechanisms to enhance the ML models by using forecasts from dynamical models. Empirical results illustrate that, on average, ML models outperform dynamical models while the ML models tend to be conservatives in their forecasts compared to the SubX models. Further, we illustrate that ML models make forecasting errors under extreme weather conditions, e.g., cold waves due to the polar vortex, highlighting the need for separate models for extreme events. Finally, we show that suitably incorporating dynamical model forecasts as inputs to ML models can substantially improve the forecasting performance of the ML models. The SSF dataset constructed for the work, dynamical model predictions, and code for the ML models are released along with the paper for the benefit of the broader machine learning community.

研究の動機と目的

• 米国西部における季節予測の分野で、最新の機械学習モデルと最先端の物理ベースの力学的モデル（SubX）を評価・比較すること。
• 力学的モデルの予測を入力特徴量として組み込むことで、機械学習モデルの予測性能が向上するかどうかを調査すること。
• MLモデルの限界、特に極端な気象現象（例：寒波）を低予測する傾向について特定すること。
• 再現可能性と今後の研究を支援するため、公開可能なSSPデータセットおよびコードベースを提供すること。

提案手法

• 米国西部のための新規に構築された季節予測データセットを用いて、4つの最新のMLモデル（AutoKNN、マルチタスクLasso、XGBoost、深層エンコーダデコーダネットワーク）を訓練・評価する。
• 2つのSubX力学的モデル（GMAO-GEOS および NCEP-CFSv2）のアンサンブル予測データをベースライン予測として用い、空間的および時間的異常相関（ACC）および相対R²を用いてMLモデルとの性能を比較する。
• SubXの予測出力を追加の入力特徴量として組み込むことでMLモデルを強化し、SubXのアンサンブル予測と同一の期間に限定して訓練データを制限することで、公平な比較を確保する。
• マルチタスクLassoでは、全地域で同時にハイパーパramータを最適化し、地域ごとに別々のモデルを訓練する際、SubX特徴量を組み込む。
• SubX予測をMLモデルに追加した際の予測精度の向上を統計的有意性検定（符号検定）で比較する。
• 地域的および時間的側面からモデルの性能を評価し、特に低予測可能性の地域（例：西・北中央部米国）に注目する。

実験結果

リサーチクエスチョン

• RQ1 最新の機械学習モデルは、米国西部全域における季節予測の気温予測において、物理ベースの力学的モデル（SubX）を上回るか？
• RQ2 MLモデルの予測特性（例：保守的傾向）は、力学的モデル（例：スケールや変動性）と比べてどのように異なるか？
• RQ3 力学的モデルの予測を入力特徴量として統合することで、機械学習モデルの予測性能が顕著に向上するか？
• RQ4 機械学習モデルが最も頻繁に失敗する地域や状況はどこか？ また、その失敗は特定の気象現象に起因するか？
• RQ5 SubX予測の組み込みにより、サンプルサイズがどの程度減少するか？ その影響をモデル比較の公平性を保つためにどのように是正しているか？

主な発見

• 空間的および時間的異常相関（ACC）を指標にした評価において、平均的には機械学習モデルがSubX力学的モデルを上回る。
• MLモデルは、より積極的でスケールの大きな予測を行うSubXモデルと比べ、より保守的で予測の大きさが小さい。これは、誤った予測を行った場合に大きな誤差を生じる要因となる可能性がある。
• GMAO-GEOSおよびNCEP-CFSv2のSubX予測を入力特徴量として組み込むことで、XGBoostおよびLassoモデルの予測精度が顕著に向上し、多数の比較でp値 < 0.01を達成した。
• 性能向上は特に西・北中央部米国で顕著であり、ここでは過去に負の時間的ACCが観測されていたが、特徴量統合後は正の値に転換された。
• SubX特徴量を組み込んだLassoモデルでは、NCEP-CFSv2を用いて中央値が0.25、平均が0.23の空間的ACCを達成し、ベースラインモデルと比べて顕著な改善が見られた。
• 極端な気象現象（例：極渦に起因する寒波）の予測において、MLモデルは顕著な誤差を示しており、極端な気象条件の専用モデリングの必要性が示唆された。