[论文解读] Decision-oriented benchmarking to transform AI weather forecast access: Application to the Indian monsoon

Rajat Masiwal, Colin Aitken+10 more|arXiv (Cornell University)|Feb 3, 2026

Climate variability and models被引用 0

一句话总结

论文提出一个面向决策的基准测试框架，将气象学、基于AI的天气预测与社会科学结合起来评估面向本地印度季风初落的开源AI天气模型，并展示向3800万农民的传播。

ABSTRACT

Artificial intelligence weather prediction (AIWP) models now often outperform traditional physics-based models on common metrics while requiring orders-of-magnitude less computing resources and time. Open-access AIWP models thus hold promise as transformational tools for helping low- and middle-income populations make decisions in the face of high-impact weather shocks. Yet, current approaches to evaluating AIWP models focus mainly on aggregated meteorological metrics without considering local stakeholders' needs in decision-oriented, operational frameworks. Here, we introduce such a framework that connects meteorology, AI, and social sciences. As an example, we apply it to the 150-year-old problem of Indian monsoon forecasting, focusing on benefits to rain-fed agriculture, which is highly susceptible to climate change. AIWP models skillfully predict an agriculturally relevant onset index at regional scales weeks in advance when evaluated out-of-sample using deterministic and probabilistic metrics. This framework informed a government-led effort in 2025 to send 38 million Indian farmers AI-based monsoon onset forecasts, which captured an unusual weeks-long pause in monsoon progression. This decision-oriented benchmarking framework provides a key component of a blueprint for harnessing the power of AIWP models to help large vulnerable populations adapt to weather shocks in the face of climate variability and change.

研究动机与目标

• 弥合LMICs中气象基准测试与面向决策的运营式传播之间的差距。
• 开发一个将气候科学、AI与发展经济学联系起来、具有实际影响力的框架。
• 在农业相关的区域背景下，使用AIWP模型评估本地季风初落的预测。
• 为农业决策支持中的大规模预报传播与模型选择提供信息。
• 展示基准测试如何引导政府主导的AI预测部署。

提出的方法

• 定义一个与运营约束相兼容的本地相关季风初落指数。
• 对六个AIWP模型和一个NWP模型在多个时期和区域内与IMD观测进行追溯评估。
• 使用确定性指标（MAE、MR、FAR）和概率性指标（BSS、RPSS、AUC）来评估技能。
• 与气候学基线进行比较，并使用开源模型以实现快速追溯生成。
• 在实际项目中展示模型融合与传播的可行性。
• 强调后处理和校准对于可操作的概率预测的必要性。

Figure 1: Decision-oriented operational benchmarking framework: the Indian monsoon onset example . Panels (a)–(b) present an operationally oriented benchmarking framework for global AIWP models using locally relevant, decision-oriented metrics. One example is an agriculturally relevant metric of the

实验结果

研究问题

• RQ1 开源AI天气预测模型是否能在季风初落的本地预测中比气候基线提前数周展现出良好技能？
• RQ2 AIWP模型的概率性预测是否为农业决策提供额外价值？
• RQ3 在核心季风区内，模型表现如何在空间上变化以及在不同提前期内的差异？
• RQ4 一个面向决策的基准框架是否能为印度农民的大规模预报传播提供信息？
• RQ5 在LMIC情境下，AIWP预测的运营部署与校准有哪些经验教训？

主要发现

• 在核心季风区（CMZ）中，绝大多数AIWP和NWP模型在1–15天提前期对本地季风初落的预测上，在确定性指标（如MAE和MR）上优于气候学基线。
• 模型技能在16–30天提前期通常下降，但部分模型在某些指标上仍保持有用技能。
• 某些模型在15–30天内对概率预测也表现出技能，支持基于集合的决策支持，但许多预测过于自信，需要进行校准。
• 2025年的印度运营性传播工作使用两种AIWP模型（AIFS和NGCM）向约3800万农民提供经校准的概率初落预测，显示出实际应用价值。
• 面向决策的框架揭示了局部、以行动为中心的指数与多指标评估在引导模型选择与传播中的价值。
• 框架强调后处理、校准以及针对农民决策的定制信息传递，以将预测技能转化为可行动的农业决策。

Figure 2: Deterministic forecast skill of the models in the medium-range (1-15 day) and subseasonal (16-30 day) timescales across two analysis periods. (a) Forecast skill of local rainfall-based monsoon onset (defined in Methods), averaged over the CMZ (outlined in panel (b)) at 1-15 day (left) and