[논문 리뷰] WeatherBench Probability: A benchmark dataset for probabilistic medium-range weather forecasting along with deep learning baseline models

Sagar Garg, Stephan Rasp외 1명|arXiv (Cornell University)|2022. 05. 02.

Hydrological Forecasting Using AI인용 수 23

한 줄 요약

이 논문은 MC 드롭아웃, 파라메트릭, 및 카테고리 신경망 접근법을 운영 IFS 엔스블링스와 비교하여 확률적 검증 지표를 사용해 중기 기상 예측에 대한 확률적 예측을 확장한다.

ABSTRACT

WeatherBench is a benchmark dataset for medium-range weather forecasting of geopotential, temperature and precipitation, consisting of preprocessed data, predefined evaluation metrics and a number of baseline models. WeatherBench Probability extends this to probabilistic forecasting by adding a set of established probabilistic verification metrics (continuous ranked probability score, spread-skill ratio and rank histograms) and a state-of-the-art operational baseline using the ECWMF IFS ensemble forecast. In addition, we test three different probabilistic machine learning methods -- Monte Carlo dropout, parametric prediction and categorical prediction, in which the probability distribution is discretized. We find that plain Monte Carlo dropout severely underestimates uncertainty. The parametric and categorical models both produce fairly reliable forecasts of similar quality. The parametric models have fewer degrees of freedom while the categorical model is more flexible when it comes to predicting non-Gaussian distributions. None of the models are able to match the skill of the operational IFS model. We hope that this benchmark will enable other researchers to evaluate their probabilistic approaches.

연구 동기 및 목표

• WeatherBench 벤치마크를 중기 기상 예측에 대한 확률적 예측으로 확장한다.
• 예측 신뢰도와 선명도를 평가하기 위한 probabilistic verification 지표를 도입한다.
• 운영 엔샘블 기준과 비교해 딥 러닝 기반 확률 모델(MC 드롭아웃, 파라메트릭, 카테고리)을 평가한다.

제안 방법

• ERA5 데이터에서 파생된 114개의 입력 채널을 갖는 심층 ResNet 기반 아키텍처를 사용한다(7개 기압면의 변수와 표면 필드 포함).
• 세 가지 접근법으로 확률 예측을 생성한다: 몬테 카를로 드롭아웃(MC) (드롭아웃 비율을 다르게 하여 앙상블 생성), 파라메트릭 예측(Z500에 대해 가우시안, CRPS 손실 포함; T850, T2M 포함), 카테고리 예측(소프트맥스와 교차 엔트로피를 이용한 이산 구간).
• 3일 예보에서 probabilistic 지표(CRPS, 스프레드-스킬 비율, 랭크 히스토그램)를 사용해 예측을 평가하고, 앙상블 평균에 대한 결정론적 RMSE도 함께 평가한다.

실험 결과

연구 질문

• RQ1 3일 예보에서 지오포텐셜, 온도, 강수에 대해 probabilistic 신경망 접근법이 운영 IFS 엔스블과 어떻게 비교되는가?
• RQ2 MC 드롭아웃, 파라메트릭, 카테고리 확률 예측의 신뢰성 및 보정 특성(스프레드-스킬, CRPS, 랭크 히스토그램)을 어떻게 나타내는가?
• RQ3 강수와 같은 비가우시안 분포를 모델링하는 데 파라메트릭 또는 카테고리 모델이 이점을 제공하는가?

주요 결과

• MC 드롭아웃은 드롭아웃 비율 0.1에서 앙상블 평균 RMSE와 CRPS가 가장 낮지만, 스프레드가 낮아 심하게 과소분산된다.
• 파라메트릭 및 카테고리 모델은 유사한 검증 점수를 얻지만 단점이 있다: 파라메트릭 모델은 자유도가 적고 간단하며, 카테고리 모델은 비정규 분포를 더 잘 처리한다(특히 강수).
• 어떤 확률적 신경망 접근도 운영 TIGGE/IFS 엔샘블의 기술에 미치지 못하며, 강수는 데이터 기반 방법에 여전히 도전 과제다.
• 사후 처리 없는 결정론적 DL 베이스라인은 대부분의 지표에서 확률적 방법보다 낮은 성능이다.
• 운영 TIGGE 엔샘블은 일반적으로 변수 전반에 걸쳐 데이터 기반 방법을 능가하지만, RMSE가 정보성을 약화하는 강수 부분에서 예외가 있다.