[논문 리뷰] Towards physically consistent data-driven weather forecasting: Integrating data assimilation with equivariance-preserving deep spatial transformers

Ashesh Chattopadhyay, Mustafa Mustafa외 3명|arXiv (Cornell University)|2021. 03. 16.

Meteorological Phenomena and Simulations인용 수 5

한 줄 요약

이 논문은 세 가지 구성 요소를 통합하여 물리적으로 일관된 데이터 기반 기상 예측 프레임워크를 제안한다: 시간-공간 데이터의 회전 및 척도 대칭성을 유지하는 등변성 보존 딥 스페이셜 트랜스포머, 노이즈가 있는 관측치를 위한 데이터 융합을 위한 시그마 포인트 엔semble 칼만 필터, 그리고 가상 관측치를 사용하는 다단계 시간 프레임워크. 이 프레임워크는 예측 정확도를 최대 45% 향상시키며, 안정적이고 대규모의 엔semble 생성(O(1000))을 가능하게 하여 강력한 데이터 융합을 실현한다.

ABSTRACT

There is growing interest in data-driven weather prediction (DDWP), for example using convolutional neural networks such as U-NETs that are trained on data from models or reanalysis. Here, we propose 3 components to integrate with commonly used DDWP models in order to improve their physical consistency and forecast accuracy. These components are 1) a deep spatial transformer added to the latent space of the U-NETs to preserve a property called equivariance, which is related to correctly capturing rotations and scalings of features in spatio-temporal data, 2) a data-assimilation (DA) algorithm to ingest noisy observations and improve the initial conditions for next forecasts, and 3) a multi-time-step algorithm, which combines forecasts from DDWP models with different time steps through DA, improving the accuracy of forecasts at short intervals. To show the benefit/feasibility of each component, we use geopotential height at 500~hPa (Z500) from ERA5 reanalysis and examine the short-term forecast accuracy of specific setups of the DDWP framework. Results show that the equivariance-preserving networks (U-STNs) clearly outperform the U-NETs, for example improving the forecast skill by $45\%$. Using a sigma-point ensemble Kalman (SPEnKF) algorithm for DA and U-STN as the forward model, we show that stable, accurate DA cycles are achieved even with high observation noise. The DDWP+DA framework substantially benefits from large ($O(1000)$) ensembles that are inexpensively generated with the data-driven forward model in each DA cycle. The multi-time-step DDWP+DA framework also shows promises, e.g., it reduces the average error by factors of 2-3.

연구 동기 및 목표

• 데이터 기반 기상 예측(DDWP) 모델의 물리적 일관성과 예측 정확도를 향상시키기 위해.
• 대기 흐름에서 회전 및 척도와 같은 대칭성을 포착하지 못하는 물리학에 무관한 신경망의 한계를 해결하기 위해.
• 저비용으로 대규모 엔셈블을 생성하는 DDWP 모델을 활용해 노이즈가 있는 관측치에서 안정적이고 정확한 데이터 융합을 가능하게 하기 위해.
• 가상 관측치를 사용하는 다단계 시간 프레임워크를 통해 단기 예측 정확도를 향상시키기 위해.
• 기상 외에도 해양 및 육상과 같은 다른 지구 시스템 구성 요소에 적용 가능한 유연하고 모듈러한 프레임워크를 개발하기 위해.

제안 방법

• U-NET의 잠재 공간에 깊이 있는 스페이셜 트랜스포머(U-STN)를 도입하여 시간-공간 특징에서 회전 및 척도에 대한 등변성을 강제함으로써 물리적 대칭성을 유지한다.
• 노이즈가 있는 관측치를 수용하고 初기 조건을 향상시키기 위해 데이터 융합(DA) 알고리즘으로 시그마 포인트 엔셈블 칼만 필터(SPEnKF)를 활용한다.
• 각 DA 사이클에서 저비용으로 O(1000)의 엔셈블 멤버를 생성하기 위해 DDWP 모델을 빠른 전진 모델로 활용함으로써 안정성과 정확도를 향상시킨다.
• 중간 예측을 가상 관측치로 융합하여 다양한 시간 단계 모델(예: U-STN1 및 U-STN12)의 예측을 조합하는 다단계 시간 알고리즘을 제안한다.
• 단기 예측 성능 평가를 위해 ERA5 재분석 자료에서 500 hPa 지면 높이(Z500)를 적용한다.
• 미래에 변분 DA를 지원하기 위해 자동 미분을 활용하여 앙상블 기반 방법 외부로의 호환성을 확장한다.

Figure 1: Architecture of U-STNx. The architecture is equivariance-preserving owing to the spatial transformer module implemented through the affine transformation, $T(\theta)$ , along with the differentiable bi-linear interpolation kernel. The network integrates $Z(t)$ to $Z(t+\Delta t)$ .

실험 결과

연구 질문

• RQ1 딥 러닝 아키텍처에서 등변성을 강제하면 데이터 기반 기상 모델의 물리적 일관성과 예측 정확도가 향상되는가?
• RQ2 특히 저비용으로 대규모 엔셈블을 생성할 수 있을 때, 노이즈가 있는 관측치와 데이터 기반 전진 모델을 효과적이고 안정적으로 융합할 수 있는가?
• RQ3 가상 관측치를 통해 다양한 시간 단계 모델의 예측을 융합하면 단기 예측 정확도가 향상되는가?
• RQ4 등변성, 데이터 융합, 다단계 시간 예측의 통합이 표준 U-NET 기반 모델 대비 기량과 안정성 측면에서 어떻게 비교되는가?
• RQ5 이 모듈러한 프레임워크는 해양 및 육상과 같이 데이터 성장과 예측 수요가 급격히 증가하는 다른 지구 시스템 구성 요소로 얼마나 확장 가능한가?

주요 결과

• 등변성 보존 U-STN 모델은 Z500 자료에서 표준 U-NET 대비 예측 기량을 45% 향상시켜 뛰어난 물리적 일관성을 입증한다.
• SPEnKF를 사용하는 DDWP+DA 프레임워크는 저비용으로 대규모 엔셈블 덕분에 높은 관측 노이즈 조건에서도 안정적이고 정확한 데이터 융합 사이클을 달성한다.
• 각 DA 사이클에서 O(1000)의 엔셈블 멤버를 사용하면 DA의 안정성과 정확도가 크게 향상되어 오차 누적 감소 및 초기 조건 추정 향상에 기여한다.
• 다단계 시간 DDWP+DA 프레임워크는 중간 예측을 가상 관측치로 융합함으로써 평균 예측 오차를 2~3배 감소시킨다.
• 이 프레임워크는 모듈러하고 탄력적이며 다양한 U-NET 아키텍처, DA 빈도, 앙상블 기반 또는 변분 DA 알고리즘과의 통합이 가능하다.
• 이 방법은 데이터 성장과 예측 수요가 급격히 증가하는 해양 및 육상과 같은 다른 지구 시스템 구성 요소로도 이식 가능하다.

Figure 2: The framework for a synergistic integration of a DA algorithm (SPEnKF) with a DDWP (U-STN1). Once the DDWP+DA framework is provided with a noisy $Z(t)$ , it uses U-STN1 to autoregressively predict $Z(t+23\Delta t)$ . A large ensemble is then generated using Eq. ( 4 ), and for each member $