[논문 리뷰] A Machine Learning Outlook: Post-processing of Global Medium-range Forecasts

Shreya Agrawal, Robert W. Carver외 8명|arXiv (Cornell University)|2023. 03. 28.

Meteorological Phenomena and Simulations인용 수 8

한 줄 요약

논문은 글로벌 중기 예보의 비선형 신경망 후처리(ML-PP)를 조사합니다. 전 세계적으로 173개의 기상 특성을 활용해 7일 ahead까지 예보 정확도를 향상시키며, 일부 변수에 대해 RMSE 이득이 최대 약 14%까지 나타납니다.

ABSTRACT

Post-processing typically takes the outputs of a Numerical Weather Prediction (NWP) model and applies linear statistical techniques to produce improve localized forecasts, by including additional observations, or determining systematic errors at a finer scale. In this pilot study, we investigate the benefits and challenges of using non-linear neural network (NN) based methods to post-process multiple weather features -- temperature, moisture, wind, geopotential height, precipitable water -- at 30 vertical levels, globally and at lead times up to 7 days. We show that we can achieve accuracy improvements of up to 12% (RMSE) in a field such as temperature at 850hPa for a 7 day forecast. However, we recognize the need to strengthen foundational work on objectively measuring a sharp and correct forecast. We discuss the challenges of using standard metrics such as root mean squared error (RMSE) or anomaly correlation coefficient (ACC) as we move from linear statistical models to more complex non-linear machine learning approaches for post-processing global weather forecasts.

연구 동기 및 목표

• 비선형 신경망이 전통적인 선형 MOS/EMOS 방법에 비해 글로벌 NWP 출력의 후처리를 개선할 수 있는지 평가합니다.
• 개별적으로 처리하기보다는 173개의 기상 특성을 공동으로 후처리하여 의존성을 학습합니다.
• ML 기반 후처리의 meteorology에서의 평가 지표를 분석하고 기준 접근법과의 성능을 비교합니다.

제안 방법

• GFS 예보를 (6h 예측)에서 GDAS 분석과 t+6에서 더 잘 일치시키도록 후처리합니다.
• 입력으로 GFS_t^6, GDAS_t, 해 위치, 감소하는 가중 편향 항 B_N 등을 사용하여 예보 오차 e_{t+6}=GFS_t^6 - GDAS_{t+6}를 예측합니다.
• 전역 필드를 0.25 x 0.25도으로 투영하고 메모리 제약에 맞게 256x256 격자로 타일링합니다.
• 단순 점별 네트워크(576K 파라미터)와 UNet 유사 모델을 비교합니다; 성능이 비슷하므로 ML-PP로 더 간단한 모델을 선택합니다.
• 학습 스키마를 실험합니다: 단일 글로벌 모델, 위도 가중 손실, 3-region(북반구 외곽, 열대 대역, 남반구 외곽) 모델; 세 지역 학습이 최적임을 발견합니다.
• 손실 함수(MSE, MAE, Log Cosh, 코사인 유사성, Fractions Skill Score)를 탐색하고 전반적으로 유의미한 성능 차이가 없다고 보고합니다.

Figure 1 : RMSE of different weather variables at 500hPa and 850hPa.

실험 결과

연구 질문

• RQ1 비선형 ML 후처리가 글로벌 다변량 NWP 후처리에 대해 전통적인 선형 MOS/EMOS 접근법보다 우수한가요?
• RQ2 173개의 기상 특성에 걸친 공동 학습이 변수 간 의존성을 포착하여 예보를 개선하나요?
• RQ3 ML 기반 후처리를 위한 최적의 글로벌 대 지역 학습 전략과 손실 함수는 무엇인가요?
• RQ4 ML 후처리 예보는 7일까지의 리드에서 RMSE와 ACC(Anomaly Correlation Coefficient)에서 기준선과 비교하여 어떤 차이가 있나요?
• RQ5 ML 후처리에서 예보의 선명도와 공간 구조를 가장 잘 반영하는 지표는 무엇인가요?

주요 결과

• ML 후처리는 850 hPa에서 바람 구성 요소의 RMSE를 약 14% 근처까지, 다양한 고도에서의 온도 및 수증기 등에서 약 12% 정도의 RMSE 이득을 제공합니다.
• 7일 전망에서 500 hPa의 위치높이(gl geopotential height) RMSE가 약 7.6%, 표면 변수들에서 약 12–13%의 이득이 관찰되었습니다.
• 삼지역 학습(북부 외곽, 열대 락대, 남부 외곽)이 최적의 성능을 보였으며 지역별 오차 특성 차이를 해결했습니다.
• 통계적 유의성은 RMSE와 ACC의 일부 이득을 시사했으나; geopotential height의 ACC는 ML-PP로부터 개선되지 않았고 다른 변수들에서 modest한 ACC 이득이 있었습니다.
• 본 연구는 RMSE/ACC와 같은 전통적 지표가 예보의 지각적 선명도와 리드-전시를 충분히 포착하지 못할 수 있음을 강조하며 시냅트가 변하는 변동성을 보존하는 대체 손실/지표 설계의 필요성을 제시합니다.

Figure 2 : Skill card with color-coding to indicate statistical significance for 7 day post-processing at different vertical levels. White blanks mean data at those levels was not available in GFS. Top: MSE for variables at multiple vertical levels, bottom-left: MSE for surface variables, bottom-rig