[논문 리뷰] 3D-Var Data Assimilation using a Variational Autoencoder

Boštjan Melinc, Žiga Zaplotnik|arXiv (Cornell University)|2023. 08. 30.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences참고 문헌 60인용 수 3

한 줄 요약

이 논문은 3D-Var 자료 통합을 감소된 잠재 공간에서 수행하는 변동형 오토에인코드르(VAE)를 활용하여 효율적인 최적화를 위한 자동 미분 기반 기울기 계산을 가능하게 하는 새로운 신경망 자료 통합(NNDA) 프레임워크를 제안한다. 이 방법은 유동에 따라 달라지는 계절적 변화를 반영한 배경 오차 공분산을 포착하며, 잠재 공간에서 준대각형 B-행렬을 나타내며, 단일 모델을 통해 열대 및 온대 기상 구조를 정확하게 표현함으로써 단일 온도 변수에 대한 정확한 분석 증분을 가능하게 한다.

ABSTRACT

Data assimilation of atmospheric observations traditionally relies on variational and Kalman filter methods. Here, an alternative neural-network data assimilation (NNDA) with variational autoencoder (VAE) is proposed. The three-dimensional variational (3D-Var) data assimilation cost function is utilised to determine the analysis that optimally fuses simulated observations and the encoded short-range persistence forecast (background), accounting for their errors. The minimisation is performed in the reduced-order latent space, discovered by the VAE. The variational problem is auto-differentiable, simplifying the computation of the cost function gradient necessary for efficient minimisation. We demonstrate that the background-error covariance ($\mathbf{B}$) matrix measured and represented in the latent space is quasi-diagonal. The background-error covariances in the grid-point space are flow-dependent, evolving seasonally and depending on the current state of the atmosphere. Data assimilation experiments with a single temperature observation in the lower troposphere indicate that the $\mathbf{B}$-matrix simultaneously describes both tropical and extratropical background-error covariances.

연구 동기 및 목표

• 기존의 배경 오차 공분산 모델링을 대체하기 위해 변동형 오토에인코드르(VAE)를 활용해 저차원 표현을 학습하는 신경망 기반 자료 통합(NNDA) 프레임워크를 개발하는 것.
• 단순한 비선형 최적화 솔버(L-BFGS 등)를 사용할 수 있도록, VAE가 학습한 잠재 공간에서 배경 상태를 인코딩하고 관측치를 잠재 공간으로 투영함으로써 3D-Var 비용 함수의 효율적 최소화를 가능하게 하는 것.
• 단일 VAE로 학습한 잠재 공간 배경 오차 공분산(B-행렬)이 열대 및 온대 대기 동역학을 동시에 표현할 수 있는지 조사하는 것.
• 풍선 및 기하학적 위치 에너지 필드와 같은 다변량 설정에서 VAE-NNDA 프레임워크가 기류 평형 분석 증분을 얼마나 잘 생성할 수 있는지 평가하는 것.
• 확률적 오토에인코드르와 하이브리드 예측 모델을 통합함으로써 향후 4D-Var 및 독립형 신경망 기반 날씨 예측으로의 확장 기반을 마련하는 것.

제안 방법

• 기후 재분석 데이터인 ERA5를 기반으로 VAE를 훈련하여 대기 상태 필드(예: 850 hPa 온도)의 저차원이고 가우시안 분포를 가진 잠재 표현을 학습한다.
• 3D-Var 비용 함수를 재정의하고, 배경 상태를 단기 예측(persistence)에서 인코딩한 후 관측치를 잠재 공간으로 투영하여 잠재 공간에서 최소화한다.
• 배경 오차 공분산 행렬(B)은 잠재 공간에서 암묵적으로 표현되며, 복잡한 오차 구조를 효과적으로 저랭크 근사화하고 있음을 나타내는 준대각형 행렬임이 확인되었다.
• 비용 함수의 기울기는 자동 미분를 통해 계산되며, L-BFGS와 같은 표준 비선형 최적화 솔버를 사용한 효율적 최적화를 가능하게 한다.
• 분석 증분은 잠재 공간에서 계산된 후 그리드 포인트 공간으로 디코딩되어 평가된다.
• 검증을 위해 850 hPa 온도의 합성 관측치를 사용하여 분석 증분의 구조와 배경 오차 공분산의 특성을 평가한다.

Figure 1: Structure of our VAE model. The input field (grey colour) with $720\times 1440$ grid points in the meridional and zonal direction enters the encoder. Through a series of 2D convolutional layers, the size of the field gradually decreases while the number of channels increases. The intermedi

실험 결과

연구 질문

• RQ1 VAE로 학습한 잠재 공간이 3D-Var 자료 통합에 필요한 배경 오차 공분산 구조를 효과적으로 표현할 수 있는가?
• RQ2 잠재 공간의 B-행렬이 동시에 열대 및 온대의 유동에 따라 달라지는 배경 오차 특성을 포착할 수 있는가?
• RQ3 VAE 기반 3D-Var 프레임워크의 자동 미분 특성 덕분에 비용 함수의 효율적이고 정확한 최소화가 가능한가?
• RQ4 이 프레임워크는 다변량 설정에서 기류 평형 분석 증분을 어느 정도 잘 생성할 수 있는가?
• RQ5 이 프레임워크는 최소한의 아키텍처 오버헤드로 4D-Var 및 독립형 신경망 기반 날씨 예측에 확장될 수 있는가?

주요 결과

• 잠재 공간에서의 배경 오차 공분산 행렬(B)은 준대각형임을 확인하였으며, 이는 VAE가 저차원이고 매끄러운 표현에서 주요 오차 구조를 효과적으로 포착하고 있음을 시사한다.
• 단일 모델을 사용하여 VAE로 학습한 B-행렬이 열대 및 온대의 배경 오차 공분산을 성공적으로 표현하며, 이는 유동에 따라 달라지는 계절적 변화 특성을 반영하고 있음을 보여준다.
• 중위도 200 hPa의 바람 및 기하학적 위치 에너지 필드에 대해 기류 평형 분석 증분을 생성함으로써 다변량 통합에서 물리적 일관성을 확보하였다.
• VAE의 자동 미분 특성 덕분에 기울기 계산이 효율적으로 이루어져 잠재 공간 내 최적화 과정이 단순화되었다.
• 이 프레임워크는 다변량 배경 오차 공분산을 표현할 수 있으며, 다수의 변수 및 수직 레벨에 대한 완전한 검증은 향후 확장이 필요하다.
• 이 방법은 향후 4D-Var 및 하이브리드 예측 모델에 통합될 잠재력을 보이며, 특히 확률적 오토에인코드르와 정규화 흐름을 활용해 잠재 공간 모델링을 향상시킬 수 있다.

Figure 2: (a) The ground truth climatological temperature anomaly on April 15, 2019. (b) The ensemble mean of VAE output fields, generated by feeding the truth from (a) to the VAE 150 times. (c) The standard deviation of the VAE output fields, calculated from the same set of fields as in (b).