[논문 리뷰] Decision-oriented benchmarking to transform AI weather forecast access: Application to the Indian monsoon

Rajat Masiwal, Colin Aitken외 10명|arXiv (Cornell University)|2026. 02. 03.

Climate variability and models인용 수 0

한 줄 요약

이 논문은 메테오로지, AI 기반 일기 예보, 사회과학을 연결하는 의사결정 지향 벤치마킹 프레임워크를 제시하여 지역 인도 몬순 시작에 대한 오픈 소스 AI 기상 모델의 평가와 3800만 농부에게의 확산을 보여준다.

ABSTRACT

Artificial intelligence weather prediction (AIWP) models now often outperform traditional physics-based models on common metrics while requiring orders-of-magnitude less computing resources and time. Open-access AIWP models thus hold promise as transformational tools for helping low- and middle-income populations make decisions in the face of high-impact weather shocks. Yet, current approaches to evaluating AIWP models focus mainly on aggregated meteorological metrics without considering local stakeholders' needs in decision-oriented, operational frameworks. Here, we introduce such a framework that connects meteorology, AI, and social sciences. As an example, we apply it to the 150-year-old problem of Indian monsoon forecasting, focusing on benefits to rain-fed agriculture, which is highly susceptible to climate change. AIWP models skillfully predict an agriculturally relevant onset index at regional scales weeks in advance when evaluated out-of-sample using deterministic and probabilistic metrics. This framework informed a government-led effort in 2025 to send 38 million Indian farmers AI-based monsoon onset forecasts, which captured an unusual weeks-long pause in monsoon progression. This decision-oriented benchmarking framework provides a key component of a blueprint for harnessing the power of AIWP models to help large vulnerable populations adapt to weather shocks in the face of climate variability and change.

연구 동기 및 목표

• 저개발국(LMICs)에서 기상 벤치마킹과 운영적 의사결정 지향 확산 간의 격차를 해소한다.
• 실용적 효과를 위한 기후과학, AI, 개발경제학을 연결하는 프레임워크를 개발한다.
• 농업적으로 관련된 지역 맥락에서 AIWP 모델을 사용하여 지역 몬순 시작 예보를 평가한다.
• 농사 의사결정 지원을 위한 대규모 예보 확산 및 모델 선택을 안내한다.
• 벤치마킹이 AI 예보의 정부 주도 배치에 어떻게 방향을 제시하는지 입증한다.

제안 방법

• 운영 제약에 호환되는 지역적으로 관련된 몬순 시작 지수를 정의한다.
• 여러 기간과 지역에 걸쳐 IMD 관측치에 대해 여섯 개의 AIWP 모델과 하나의 NWP 모델을 후향 예측(hindcast)하고 평가한다.
• 정확도 지표(MAE, MR, FAR)와 확률적 지표(BSS, RPSS, AUC)를 모두 사용해 능력을 평가한다.
• 일성 기후 기준치와 비교하고 신속한 hindcast 생성을 가능하게 하기 위해 오픈 소스 모델을 사용한다.
• 실제 프로그램에서 확산을 위한 모델 블렌딩과 선택을 시연한다.
• 실행 가능한 확률 예보를 위한 후처리와 보정의 필요성을 강조한다.

Figure 1: Decision-oriented operational benchmarking framework: the Indian monsoon onset example . Panels (a)–(b) present an operationally oriented benchmarking framework for global AIWP models using locally relevant, decision-oriented metrics. One example is an agriculturally relevant metric of the

실험 결과

연구 질문

• RQ1 오픈 소스 AI 기상 예보 모델이 지역 몬순 시작을 기상학적 기준치와 비교하여 수주 앞서 능숙하게 예측할 수 있는가?
• RQ2 AIWP 모델의 확률적 예보가 농업 의사결정에 부가 가치를 제공하는가?
• RQ3 핵심 몬순 구역 내 공간적으로 모델 성능은 어떻게 다르고 다양한 선두 시점에서 어떤가?
• RQ4 의사결정 지향 벤치마킹 프레임워크가 인도 농부들에게 대규모 예보 확산에 정보를 제공할 수 있는가?
• RQ5 LMIC 맥락에서 AIWP 예보의 운영 배치와 보정에 어떤 교훈이 도출되는가?

주요 결과

• 대부분의 AIWP 및 NWP 모델은 CMZ에서 지역 몬순 시작 예측에 대해 1–15일 선행 시점에서 climatology를 능가한다 (MAE 및 MR와 같은 결정적 지표에서).
• 16–30일 선행 시점으로 갈수록 모델의 역량이 일반적으로 감소하며, 일부 모델은 특정 지표에서 유용한 역량을 유지한다.
• 일부 모델은 확률적 예보가 15–30일까지 역량을 보이며, 앙상블 기반 의사결정 지원을 가능하게 하지만 많은 예보는 과신하는 경향이 있어 보정이 필요하다.
• 인도에서의 2025년 운영적 확산 시도에서 두 개의 AIWP 모델(AIFS 및 NGCM)을 사용해 약 3800만 농부에게 보정된 확률적 시작 예보를 제공하여 실세계 유용성을 입증했다.
• 의사결정 지향 프레임워크는 지역적이고 행동 중심의 지표와 다지표 평가가 모델 선택 및 확산을 안내하는 가치가 있음을 보여준다.
• 프레임워크는 예측 역량을 실행 가능한 농부 의사결정으로 번역하기 위한 후처리, 보정, 맞춤형 메시징의 필요성을 강조한다.

Figure 2: Deterministic forecast skill of the models in the medium-range (1-15 day) and subseasonal (16-30 day) timescales across two analysis periods. (a) Forecast skill of local rainfall-based monsoon onset (defined in Methods), averaged over the CMZ (outlined in panel (b)) at 1-15 day (left) and