[논문 리뷰] Comparison of multivariate post-processing methods using global ECMWF ensemble forecasts

M Lakatos, Sebastian Lerch외 2명|arXiv (Cornell University)|2022. 06. 21.

Climate variability and models인용 수 9

한 줄 요약

이 연구는 다변량 후처리 방법을 다각도로 평가하며, 단변량 EMOS를 적용한 후 경험적 코풀라 기반의 의존성 재구성 방법을 사용한다. 간단한 ECC-Q 방법이 더 복잡한 Ensemble Copula Coupling 및 Schaake Shuffle의 변종보다 뛰어난 성능을 보이며, 기본적인 다변량 校정이 낮은 계산 비용으로도 뛰어난 성능을 발휘함을 보여주어 향후 연구의 강력한 기준이 될 수 있음을 시사한다.

ABSTRACT

An influential step in weather forecasting was the introduction of ensemble forecasts in operational use due to their capability to account for the uncertainties in the future state of the atmosphere. However, ensemble weather forecasts are often underdispersive and might also contain bias, which calls for some form of post-processing. A popular approach to calibration is the ensemble model output statistics (EMOS) approach resulting in a full predictive distribution for a given weather variable. However, this form of univariate post-processing may ignore the prevailing spatial and/or temporal correlation structures among different dimensions. Since many applications call for spatially and/or temporally coherent forecasts, multivariate post-processing aims to capture these possibly lost dependencies. We compare the forecast skill of different nonparametric multivariate approaches to modeling temporal dependence of ensemble weather forecasts with different forecast horizons. The focus is on two-step methods, where after univariate post-processing, the EMOS predictive distributions corresponding to different forecast horizons are combined to a multivariate calibrated prediction using an empirical copula. Based on global ensemble predictions of temperature, wind speed and precipitation accumulation of the European Centre for Medium-Range Weather Forecasts from January 2002 to March 2014, we investigate the forecast skill of different versions of Ensemble Copula Coupling (ECC) and Schaake Shuffle (SSh). In general, compared with the raw and independently calibrated forecasts, multivariate post-processing substantially improves the forecast skill. While even the simplest ECC approach with low computational cost provides a powerful benchmark method, recently proposed advanced extensions of the ECC and the SSh are found to not provide any significant improvements over their basic counterparts.

연구 동기 및 목표

• 글로벌 ECMWF 엔sembles 예보에 대한 다양한 비모수적 다변량 후처리 방법의 예보 정확도를 평가하기 위해.
• 단일변량 EMOS 校정 이후 시간적 의존성을 재구성하는 데 있어 다양한 Ensemble Copula Coupling (ECC) 및 Schaake Shuffle (SSh) 변종의 성능을 비교하기 위해.
• 최근 제안된 고급 방법들인 mdSSh 및 simSSh 가 기본 방법보다 예보 품질을 크게 향상시키는지 확인하기 위해.
• 계절 선택 및 역사적 경로 샘플링이 다변량 예보 신뢰성에 미치는 영향을 평가하기 위해.
• 실제 데이터와 포괄적인 검증을 통해 다변량 후처리의 강력한 기준을 설정하기 위해.

제안 방법

• 2m 기온, 10m 풍속, 24시간 강수량 누적량 예보의 편향 및 과소분산을 보정하기 위해, 다변량 후처리에 대해 Ensemble Model Output Statistics (EMOS)를 적용한다.
• 이중 단계 접근법을 사용한다: 첫째, EMOS가 개별 예측 분포를 생성하고, 둘째, 경험적 코풀라를 통해 예보 수준(1–10일) 간의 시간적 의존성을 재구성한다.
• ECC의 경우, 원시 NWP 엔셈블에서 의존성 템플릿을 추출하고, SSh의 경우 역사적 관측 자료에서 추출하며, 변종들은 계절 또는 유사도 기반 선택을 사용한다.
• 다섯 가지 SSh 변종을 시험한다: 기본 SSh, mdSSh(다일 선택), simSSh(유사도 기반 선택), 그리고 계절 및 공간 제약 조건을 적용한 두 가지 다른 변종.
• 네 가지 ECC 변종을 평가하며, ECC-Q(등간격 분위수 샘플링) 포함, 시간적 의존성에 집중한다.
• 검증은 2002년 1월부터 2014년 3월까지의 SYNOP 기상관측소 데이터(4160개소)를 사용한다.

실험 결과

연구 질문

• RQ1 SSh에 계절 또는 유사도 기반 선택을 포함시키면 무작위 샘플링 대비 예보 성능이 향상되는가?
• RQ2 고급 ECC 및 SSh 변종이 기본 ECC-Q 및 SSh 방법보다 다변량 예보 정확도에서 뚜렷한 성능 향상을 이룬다 할 수 있는가?
• RQ3 다변량 후처리 성능은 기상 변수(기온, 풍속, 강수량)와 예보 수준에 따라 어떻게 달라지는가?
• RQ4 의존성 템플릿 선택(원시 NWP 엔셈블 대비 역사적 관측 자료)이 예보 신뢰성에 어떤 영향을 미치는가?
• RQ5 간단한 ECC-Q 방법이 향후 다변량 후처리 연구의 강력하고 저비용 기준이 될 수 있는가?

주요 결과

• 기본 ECC-Q 방법은 더 복잡한 ECC 및 SSh 변종보다 일관되게 뛰어난 성능을 보이며, 낮은 계산 비용으로도 뛰어난 예보 정확도를 확보한다.
• mdSSh 및 simSSh와 같은 고급 SSh 변종은 관련 역사적 경로의 비율을 크게 향상시킨다—중위수 사용률을 23.0%에서 43.4%로 증가시키며, 특히 계절에 따라 변화가 큰 조건에서 유의미한 개선을 보인다.
• 개선된 샘플링 전략에도 불구하고, mdSSh나 simSSh는 기본 SSh보다 유의미한 성능 향상을 보이지 않아 복잡성의 추가 가치가 제한적임을 시사한다.
• 이중 ECC(dECC) 및 기타 고급 ECC 확장 방법은 ECC-Q에 비해 일관된 개선을 보이지 않아, ECC-Q가 강력한 기준으로서의 역할을 더욱 공고히 한다.
• 이 연구는 다변량 후처리가 원시 예보 및 독립적 校정 예보보다 예보 정확도를 크게 향상시킴을 확인하며, 특히 시간적 일관성을 잘 포착함을 강조한다.
• 결과는 이전의 시뮬레이션 연구와 일치하며, 어떤 고급 방법도 모든 조건에서 항상 우월하지는 않으며, 종종 단순성이 충분함을 시사한다.