[논문 리뷰] Deep Learning for Day Forecasts from Sparse Observations

Marcin Andrychowicz, Lasse Espeholt외 6명|arXiv (Cornell University)|2023. 06. 06.

Meteorological Phenomena and Simulations인용 수 40

한 줄 요약

MetNet-3은 관측 기반의 신경 기상 모델로, 다수의 관측치와 희소 관측으로부터 학습하고 출력을 밀도화하여 1 km의 고해상도 공간 해상도와 2분의 고해상도 시간 해상도에서 최대 24시간 앞까지 강수량, 바람, 기온, 이슬점까지 예측합니다.

ABSTRACT

Deep neural networks offer an alternative paradigm for modeling weather conditions. The ability of neural models to make a prediction in less than a second once the data is available and to do so with very high temporal and spatial resolution, and the ability to learn directly from atmospheric observations, are just some of these models' unique advantages. Neural models trained using atmospheric observations, the highest fidelity and lowest latency data, have to date achieved good performance only up to twelve hours of lead time when compared with state-of-the-art probabilistic Numerical Weather Prediction models and only for the sole variable of precipitation. In this paper, we present MetNet-3 that extends significantly both the lead time range and the variables that an observation based neural model can predict well. MetNet-3 learns from both dense and sparse data sensors and makes predictions up to 24 hours ahead for precipitation, wind, temperature and dew point. MetNet-3 introduces a key densification technique that implicitly captures data assimilation and produces spatially dense forecasts in spite of the network training on extremely sparse targets. MetNet-3 has a high temporal and spatial resolution of, respectively, up to 2 minutes and 1 km as well as a low operational latency. We find that MetNet-3 is able to outperform the best single- and multi-member NWPs such as HRRR and ENS over the CONUS region for up to 24 hours ahead setting a new performance milestone for observation based neural models. MetNet-3 is operational and its forecasts are served in Google Search in conjunction with other models.

연구 동기 및 목표

• 관측 기반 신경망이 최대 24시간 앞까지 여러 기상 변수를 예측할 수 있음을 입증한다.
• 도메인 전체에 걸친 조밀한 ground truth에 의존하지 않고 희소 관측을 조밀한 예측으로 변환하는 밀도화 방법을 개발한다.
• CONUS 전역에서 ENS, HREF, HRRR, HRES 등 최첨단 수치 예보 baselines와 MetNet-3를 평가한다.
• 희소 데이터 소스를 활용하면서도 낮은 대기시간으로 작동하고 높은 공간 및 시간 해상도로 확장될 수 있음을 보인다.

제안 방법

• 지형 임베딩을 포함한 세 부분으로 구성된 MetNet-3 아키텍처와 로컬 및 장거리 상호작용을 포착하는 U-Net 백본 및 MaxViT 트랜스포머를 사용한다.
• 학습 중 입력 관측소를 마스킹하고 공간 파라미터 공유를 사용하여 조밀한 예측을 출력하는 밀도화를 도입한다.
• 강수 및 표면 변수에 대해 softmax 출력을 통해 확률 분포를 예측하여 CRPS 및 CSI 평가를 가능하게 하고, 동화된 상태 채널에는 MSE를 사용한다.
• 리드 타임을 원-핫 임베딩으로 인코딩하고 이를 입력과 은닉 상태에 덧셈적 및 곱셈적으로 적용하여 리드 타임에 따라 예측을 조정한다.
• 강수 및 표면 변수에 대한 크로스 엔트로피 손실과 동화된 상태에 대한 MSE를 사용하고, 다중 출력 손실의 균형을 위해 그래디언트 재스케일링을 적용한다.
• 큰 시공간 입력을 처리하기 위해 16 TPU 코어에 걸친 모델 병렬성을 활용한다.

Figure 1 : Abstract depiction of densification aspects. (a) During training a fraction of the weather stations are masked out from the input, while kept in the target. (b) To evaluate generalization to untrained locations, a set of weather stations represented by squares is never trained on and only

실험 결과

연구 질문

• RQ1 희소 관측을 사용하여 고해상도에서 24시간 앞까지 다수의 대기 변수들을 예측할 수 있는 관측 기반 신경망이 가능한가요?
• RQ2 학습된 밀도화 프로세스가 희소하게 관측된 지점들로부터 조밀한 필드 예측을 가능하게 하나요?
• RQ3 리드 타임과 변수에 따라 MetNet-3은 앙상블 및 결정론적 NWP 기반선과 어떻게 비교되나요?
• RQ4 장기 예보 정확도에 대한 리드 타임 조건화 및 학습 전략의 영향은 무엇인가요?

주요 결과

• MetNet-3은 CSI 기반 임계값을 사용할 때 즉시 강수에 대해 약 19시간까지, 중등도 강수에 대해 약 18시간까지 CRPS에서 다회원 baselines ENS 및 HREF를 능가합니다.
• MetNet-3은 앞선 관측 기반 모델(MetNet-2)에 비해 여러 변수에 대해 리드 타임 우위를 12시간에서 24시간으로 확장합니다.
• MetNet-3은 강수 및 표면 변수에 대해 확률적 예측(전체 분포)을 제공하고, 리드 타임에 걸쳐 ENS보다 CRPS가 더 좋습니다.
• 밀도화는 CONUS에 걸쳐 분포된 942개 기상 관측소의 희소 관측치를 사용하여 강수는 1 km, 표면 변수는 4 km의 고해상도 예측을 가능하게 합니다.
• 모델은 높은 시간 해상도(2분)와 리드 타임당 약 1초의 운용 대기시간을 달성하여 Google 검색에서 예측을 제공합니다.
• 훈련은 지상 관측소의 무작위 마스킹 전략과 특정 리드 타임 샘플링 방식을 사용하여 장기 예측 성능을 향상시킵니다.

Figure 2 : Case study for Sat Apr 23 2022 12:00 UTC featuring the Rocky Mountains of Colorado showing the mean of the ENS and MetNet-3 6 hour wind speed forecasts (top, left and center) along with the OMO stations ground truth (top, right) and the error of ENS and MetNet-3 on the individual weather