[論文レビュー] Decision-oriented benchmarking to transform AI weather forecast access: Application to the Indian monsoon

Rajat Masiwal, Colin Aitken+10 more|arXiv (Cornell University)|Feb 3, 2026

Climate variability and models被引用数 0

ひとこと要約

この論文は、意思決定志向のベンチマークフレームワークを提示し、気象学、AIベースの気象予測、社会科学を結びつけて、Open-SourceのAI天気モデルをインド南部のモンスーン開始の地域性に関して評価し、3800万人の農民への普及を実証する。

ABSTRACT

Artificial intelligence weather prediction (AIWP) models now often outperform traditional physics-based models on common metrics while requiring orders-of-magnitude less computing resources and time. Open-access AIWP models thus hold promise as transformational tools for helping low- and middle-income populations make decisions in the face of high-impact weather shocks. Yet, current approaches to evaluating AIWP models focus mainly on aggregated meteorological metrics without considering local stakeholders' needs in decision-oriented, operational frameworks. Here, we introduce such a framework that connects meteorology, AI, and social sciences. As an example, we apply it to the 150-year-old problem of Indian monsoon forecasting, focusing on benefits to rain-fed agriculture, which is highly susceptible to climate change. AIWP models skillfully predict an agriculturally relevant onset index at regional scales weeks in advance when evaluated out-of-sample using deterministic and probabilistic metrics. This framework informed a government-led effort in 2025 to send 38 million Indian farmers AI-based monsoon onset forecasts, which captured an unusual weeks-long pause in monsoon progression. This decision-oriented benchmarking framework provides a key component of a blueprint for harnessing the power of AIWP models to help large vulnerable populations adapt to weather shocks in the face of climate variability and change.

研究の動機と目的

• LMICsにおける気象ベンチマークと運用的・意思決定志向の普及とのギャップに対処する。
• 気候科学、AI、開発経済学を結ぶ実践的影響をもつ枠組みを開発する。
• 農業上の地域的文脈でAIWPモデルを用いた局地モンスーン開始予測を評価する。
• 農業の意思決定支援のための大規模な予報普及とモデル選択を通知する。
• ベンチマークが政府主導のAI予報の展開を指針化する方法を示す。

提案手法

• 運用上の制約と整合する局地的に関連するモンスーン開始指標を定義する。
• IMD観測と比較して6つのAIWPモデルと1つのNWPモデルを複数期間・地域で遡及評価する。
• 決定論的指標（MAE、MR、FAR）と確率的指標（BSS、RPSS、AUC）を用いて技能を評価する。
• climatologyベースラインと比較し、オープンソースモデルを用いて迅速な遡及生成を可能にする。
• 現実世界のプログラムで普及のためのモデルブレンディングと選択を実証する。
• 実用的な確率予報のための事後処理と較正の必要性を強調する。

Figure 1: Decision-oriented operational benchmarking framework: the Indian monsoon onset example . Panels (a)–(b) present an operationally oriented benchmarking framework for global AIWP models using locally relevant, decision-oriented metrics. One example is an agriculturally relevant metric of the

実験結果

リサーチクエスチョン

• RQ1 オープンソースAI天気予測モデルは、気候ベースラインと比較して局地的モンスーン開始を数週間先に正確に予測できるか。
• RQ2 AIWPモデルの確率予報は農業の意思決定に付加価値をもたらすか。
• RQ3 中核モンスーン域内および異なるリードタイムでモデルの性能は空間的にどのように変動するか。
• RQ4 意思決定志向のベンチマークフレームワークは、インドの農家への予報の大規模普及を通知できるか。
• RQ5 LMICの文脈でAIWP予報の運用展開と較正に関する教訓は何か。

主な発見

• 多くのAIWPおよびNWPモデルは、局地モンスーン開始をコアモンスーン域(CMZ)で1–15日先までのデータで気候学ベースラインよりも優れており、MAEやMRなどの決定論的指標で性能を示す。
• モデルの技能は一般に16–30日先で低下するが、特定の指標では有用な技能を維持するモデルもある。
• 確率予報は一部のモデルで15–30日まで技能を示し、 Ensembleベースの意思決定支援を可能にするが、多くの予報は過信的で較正が必要。
• 2025年のインドの運用的普及で、2つのAIWPモデル（AIFSとNGCM）を用いて約3800万人の農民へ較正済みの確率的開始予報を提供し、実世界の有用性を示した。
• 意思決定志向のフレームワークは、現地の行動指向指標と多指標評価の価値を示し、モデル選択と普及を導く。
• フレームワークは、予報技能を実際の農家の意思決定へ翻訳するための事後処理、較正、適切なメッセージ伝達の必要性を強調する。

Figure 2: Deterministic forecast skill of the models in the medium-range (1-15 day) and subseasonal (16-30 day) timescales across two analysis periods. (a) Forecast skill of local rainfall-based monsoon onset (defined in Methods), averaged over the CMZ (outlined in panel (b)) at 1-15 day (left) and