[논문 리뷰] AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the Continuous Ranked Probability Score

Simon Lang, Mihai Alexe외 16명|arXiv (Cornell University)|2024. 12. 20.

Forecasting Techniques and Applications인용 수 6

한 줄 요약

AIFS-CRPS는 확률적 afCRPS 손실을 사용하여 기계 학습된 앙상블 예측 모델을 학습시키고 교환 가능(exchangeable) 앙상블 멤버를 생성하며, 물리 기반 IFS 앙상블에 비해 중기 범위 및 부분계절 예측 능력에서 경쟁력 있거나 우수한 성능을 보인다.

ABSTRACT

Over the last three decades, ensemble forecasts have become an integral part of forecasting the weather. They provide users with more complete information than single forecasts as they permit to estimate the probability of weather events by representing the sources of uncertainties and accounting for the day-to-day variability of error growth in the atmosphere. This paper presents a novel approach to obtain a weather forecast model for ensemble forecasting with machine-learning. AIFS-CRPS is a variant of the Artificial Intelligence Forecasting System (AIFS) developed at ECMWF. Its loss function is based on a proper score, the Continuous Ranked Probability Score (CRPS). For the loss, the almost fair CRPS is introduced because it approximately removes the bias in the score due to finite ensemble size yet avoids a degeneracy of the fair CRPS. The trained model is stochastic and can generate as many exchangeable members as desired and computationally feasible in inference. For medium-range forecasts AIFS-CRPS outperforms the physics-based Integrated Forecasting System (IFS) ensemble for the majority of variables and lead times. For subseasonal forecasts, AIFS-CRPS outperforms the IFS ensemble before calibration and is competitive with the IFS ensemble when forecasts are evaluated as anomalies to remove the influence of model biases.

연구 동기 및 목표

• 확률적이고 기계 학습된 앙상블 예측이 기상 예측에 필요하다는 점을 동기부여한다.
• 연속 분류 가능도 점수의 변형인 afCRPS를 사용하여 불확실성을 더 잘 표현하기 위한 앙상블 예측 모델(AIFS-CRPS)을 개발한다.
• AIFS-CRPS의 성능을 중기-range 및 부분계절 예측에 걸쳐 ECMWF의 IFS 앙상블과 비교 평가한다.

제안 방법

• 지상 진실 결정 states(ERA5 또는 IFS 분석)로의 근거-실제(deteministic) 상태를 사용한 확률적 학습으로 AIFS 아키텍처를 확장한다.
• 옥타헤드럴 축소 가우시안 격자 프레임워크 내에서 트랜스포머 기반 인코더/디코더를 갖춘 16개의 프로세서 레이어를 사용한다.
• 유한 앙상블 크기에 대한 편향 보정과 점수의 특이성 저하를 피하기 위해 거의 공정한 CRPS(afCRPS)로 학습한다.
• 멀티 멤프버를 독립적인 가우시안 잡음 입력으로 표현하고, 각 멤버별로 처리하며 확장 가능성을 위해 GPU 간 앙상블 샤딩을 수행한다.
• 학습 및 추론 중 자동 회귀 롤아웃을 사용해 72시간 이상까지의 다단계 예측을 시뮬레이션한다.
• 직렬적인 네 단계 학습 스킴과 코사인 러닝레이트 스케줄, afCRPS를 기반으로 한 손실을 사용하는 네 가지 단계의 학습 체계를 활용한다.

Figure 1: Probabilistic training of AIFS-CRPS. A small ensemble of atmospheric states is propagated forward in time using separate model instances (that share the same weights). With ensemble sharding (see section 2.4 ), the ensemble forecasts are then gathered across all participating GPU devices u

실험 결과

연구 질문

• RQ1 AIFS-CRPS가 CRPS 기반 손실을 통해 모델 불확실성을 학습해 신뢰할 수 있는 확률적 예측을 제공하는가?
• RQ2 다양한 변수 및 예측 기간에 대해 IFS 물리 기반 앙상블과 비교하여 중기 예측에서 AIFS-CRPS의 성능은 어떠한가?
• RQ3 특히 극값 이벤트에 대해 과도한 완화나 과분산 없이 앙상블 변동성을 유지할 수 있는가?
• RQ4 손실의 격자 해상도, 앙상블 크기 및 기압 스케일링이 예측 기술과 분산에 미치는 영향은 무엇인가?
• RQ5 RAW 필드로 평가했을 때와 이상치로 평가했을 때 부분계절 예측에서 AIFS-CRPS가 경쟁력 있는가?

주요 결과

• AIFS-CRPS 앙상블은 예견 시간 동안 현실적인 변동성을 유지하며 MSE 학습 모델에서 보이는 평활화를 피한다.
• IFS 앙상블과 비교했을 때 다수의 중기 변수에서 AIFS-CRPS가 경쟁력이 있거나 우수하며, CRPS와 RMSE 면에서 여러 지역에서 개선을 보인다.
• 고해상도 AIFS-CRPS(N320)는 표면 변수 중 다수에서 낮은 해상도 설정(O96)보다 일반적으로 더 큰 기술을 제공하지만, 일부 대기 상부 변수는 기압 스케일링 선택으로 인해 악화가 나타날 수 있다.
• 2–3주 간의 예측 기간에서 다수의 표면 및 도류권 매개변수에 대해 IFS에 비해 부분계절 예측 기술이 개선되며 이상치 기반 평가에서도 지속적인 이점이 나타난다.
• 여러 지표에서 ENC의 평균과 상관관계, RMSE 등에서 IFS보다 더 나은 특성을 보이고, MJO 관련 예측 특성과 앙상블 동작 면에서도 IFS보다 우수한 경우가 많다.
• 전반적으로 AIFS-CRPS는 엑스트라트로픽에서 더 크고 때로는 더 잘 보정된 앙상블 분산을 제공하며, 많은 경우 IFS 앙상블보다 우수한 성능을 내면서 합리적인 앙상블 통계를 유지한다.

(a)