[논문 리뷰] Ensemble weather forecast post-processing with a flexible probabilistic neural network approach

Peter Mlakar, Janko Merše외 1명|arXiv (Cornell University)|2023. 03. 29.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

이 논문은 정규화 흐름을 사용하여 모든 위치와 리드 타임을 동시에 모델링하는 신규 신경망 기반 후처리 방법 ANET2를 제안한다. 이는 민감하고 정확한 확률 분포 추정을 가능하게 하며, EUPPBench 벤치마크에서 이전 방법들, 특히 ANET1 이전 버전을 능가하는 최신 기술 성능을 달성한다. 이는 개별 리드 타임이나 위치별 모델 피팅 없이도 개선된 분포 모델링과 통합 추론을 통해 달성된다.

ABSTRACT

Ensemble forecast post-processing is a necessary step in producing accurate probabilistic forecasts. Conventional post-processing methods operate by estimating the parameters of a parametric distribution, frequently on a per-location or per-lead-time basis. We propose a novel, neural network-based method, which produces forecasts for all locations and lead times, jointly. To relax the distributional assumption of many post-processing methods, our approach incorporates normalizing flows as flexible parametric distribution estimators. This enables us to model varying forecast distributions in a mathematically exact way. We demonstrate the effectiveness of our method in the context of the EUPPBench benchmark, where we conduct temperature forecast post-processing for stations in a sub-region of western Europe. We show that our novel method exhibits state-of-the-art performance on the benchmark, outclassing our previous, well-performing entry. Additionally, by providing a detailed comparison of three variants of our novel post-processing method, we elucidate the reasons why our method outperforms per-lead-time-based approaches and approaches with distributional assumptions.

연구 동기 및 목표

• 유연성 부족하고 표현 능력이 제한된, 고정된 리드 타임 또는 위치 기반의 파라미터 확률 분포에 의존하는 전통적 후처리 방법의 한계를 해결하기 위해.
• 모든 위치와 리드 타임에서 통합된 확률 예측을 수행하는 유일한 신경망 모델을 개발하여 일반화 및 校정 능력을 향상시키기 위해.
• 정규화 흐름을 활용해 수학적으로 정확하고 민감한 밀도 추정을 가능하게 하여 분포 가정을 완화하기 위해.
• 유연한 분포 모델링이 실제 기상 벤치마크 환경에서 예측 보정 및 예측 성능에 미치는 영향을 평가하기 위해.
• 고도로 발전한 분포 추정 기법을 사용한 통합 모델링이 표준적인 리드 타임 기반 또는 파라미터 기반 접근법보다 현저히 뛰어나다는 것을 입증하기 위해.

제안 방법

• ANET2는 원시 앙상블 예보, 스테이션 임베딩, 시간 특징을 처리하는 딥 네트워크 아키텍처를 사용하여, 모든 위치와 리드 타임에 대해 통합적이고 엔드 투 엔드 방식으로 분포 매개변수를 예측한다.
• 복잡한 비정규 분포를 정확한 밀도 추정으로 모델링하기 위해, 스퍼링 기반 변환을 사용하는 연속 정규화 흐름(continuous normalizing flows)을 적용한다.
• 정확한 점수 기준(예: 로그 점수)을 사용하여 모델을 훈련함으로써 확률 예보의 품질을 최적화하고, 잘 校정되고 날카로운 예측 분포를 확보한다.
• 정규화 흐름이 기본 분포에서 예측 분포로 단조적이고 역행 가능성을 갖는 변환을 제공하므로, 양식적으로 분위수 교차 문제를 방지한다.
• 비교를 위해 ANET2_NORM은 고정된 정규 분포를 사용하고, ANET2_BERN은 베르슈타인 분위수 회귀를 사용하여 분포 가정의 영향을 분석할 수 있도록 한다.
• 추론 파이프라인은 D51 테스트 데이터셋(167,170개 예측)을 GPU에서 1분 이내에 처리하며, ANET2는 36.08초가 소요된다.

Figure 1: The neural network architecture of ANET1. The parameter f denotes the number of features in a dense layer. The parameters t and p denote the lead time and the number of per-lead-time parameters required by the normal distribution model. The circular blocks denote the following operations:

실험 결과

연구 질문

• RQ1 모든 위치와 리드 타임을 통합적으로 모델링하는 것이 개별 리드 타임 또는 개별 스테이션 접근법에 비해 보다 우수한 보정 및 날카로움을 제공하는가?
• RQ2 정규화 흐름을 통해 비모수적이고 정확한 분포 추정이 가능해지면서, 파라미터 가정 없이도 확률 예보 성능을 크게 향상시킬 수 있는가?
• RQ3 정규 분포, 베르슈타인, 정규화 흐름 등 다양한 분포 추정기 간의 예측 정확도와 계산 비용은 어떻게 비교되는가?
• RQ4 실제 기상 환경에서 분포 가정을 완화함으로써 얼마나 예측 품질이 향상되는가?
• RQ5 정규화 흐름의 모델 복잡도 증가가 표준 벤치마크에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• ANET2는 EUPPBench 벤치마크에서 모든 평가 지표(로그 점수, CRPS, 신뢰도 다이어그램 포함)에서 이전 버전인 ANET1을 능가하는 최신 기술 성능을 달성한다.
• ANET2에서 정규화 흐름의 사용은 정확한 비모수적 밀도 추정을 가능하게 하여 분위수 교차 문제를 제거하고 보정 능력을 향상시킨다.
• ANET2는 분포 모델에 840개의 파라미터를 사용하며, ANET2_NORM(42개) 및 ANET2_BERN(273개)에 비해 훨씬 더 많지만, 가장 뛰어난 예측 성능을 제공한다.
• 더 높은 계산 비용에도 불구하고, ANET2는 GPU에서 전체 D51 테스트 데이터셋을 36.08초 내에 처리하여 실용적 구현 가능성을 입증한다.
• 아블레이션 연구 결과, 위치와 리드 타임을 통합적으로 모델링하는 것이 개별 리드 타임 접근법보다 더 효과적이며, 특히 민감한 분포 추정과 조합했을 때 두드러진 성능 향상을 보인다.
• ANET2의 뛰어난 성능는 통합 아키텍처와 정규화 흐름의 표현 능력 덕분이며, 이는 복잡한 비정규 분포를 더 잘 포착할 수 있기 때문이다.

Figure 2: The neural network architecture of ANET2. The parameter f denotes the number of features in a dense layer. The parameters t and p denote the lead time and the number of per-lead-time parameters required by the normalizing flow. The circular blocks denote the following operations: M denotes