[논문 리뷰] Variational Data Assimilation with a Learned Inverse Observation Operator

Thomas Frerix, Dmitrii Kochkov외 4명|arXiv (Cornell University)|2021. 02. 22.

Meteorological Phenomena and Simulations참고 문헌 32인용 수 7

한 줄 요약

이 논문은 혼돈 시스템에서 변분 자료 융합의 최적화 안정성과 수렴성을 향상시키기 위해 학습된 역관측 연산자를 제안한다. 학습된 매핑을 통해 상태를 초기화하고 물리 공간에서 목적 함수를 재구성함으로써, 기존 방법에 비해 예측 오차를 크게 감소시킨다. 로렌츠96 모델에서는 L1 오차가 최대 75% 감소했고, 코르골로프 흐름에서는 77% 감소하였다.

ABSTRACT

Variational data assimilation optimizes for an initial state of a dynamical system such that its evolution fits observational data. The physical model can subsequently be evolved into the future to make predictions. This principle is a cornerstone of large scale forecasting applications such as numerical weather prediction. As such, it is implemented in current operational systems of weather forecasting agencies across the globe. However, finding a good initial state poses a difficult optimization problem in part due to the non-invertible relationship between physical states and their corresponding observations. We learn a mapping from observational data to physical states and show how it can be used to improve optimizability. We employ this mapping in two ways: to better initialize the non-convex optimization problem, and to reformulate the objective function in better behaved physics space instead of observation space. Our experimental results for the Lorenz96 model and a two-dimensional turbulent fluid flow demonstrate that this procedure significantly improves forecast quality for chaotic systems.

연구 동기 및 목표

• 비가역적인 관측에서 상태로의 매핑으로 인해 발생하는 비凸성 및 불안정한 최적화 문제를 해결하기 위함.
• 로렌츠96 및 2차원 난류 흐름과 같은 혼돈 시스템에서 예측 정확도를 향상시키기 위해 기계학습을 활용해 최적화 문제를 더 나은 초기화 및 재구성하기 위함.
• 정확한 물리 모델을 유지하면서도 최적화를 학습된 역관측 연산자를 통해 향상시켜 물리적 일致성과 해석 가능성을 유지하기 위함.
• 딥 러닝 기법, 특히 자동 미분 및 하드웨어 가속 기술이 물리 제약 최적화의 발전에 어떻게 기여할 수 있는지 보여주기 위함.

제안 방법

• 신경망을 사용해 관측 데이터를 물리 상태 공간으로 되돌리는 역관측 연산자를 학습함.
• 학습된 역관측 연산자를 활용해 변분 자료 융합 최적화의 초기 상태를 설정함으로써 상태 공간 내에서 더 나은 시작점을 확보함.
• 관측 공간에서 물리 공간으로의 4D-Var 목적 함수 재구성으로, 더 안정된 최적화 경로를 확보함.
• 하이브리드 최적화 전략을 구현: 먼저 물리 공간에서 학습된 역매핑을 사용해 최적화를 수행한 후, 관측 공간으로 전환해 해를 정밀화함.
• 로렌츠96 및 코르골로프 흐름 모델에서 생성한 합성 관측 데이터를 사용해 지도 학습 방식으로 역연산자를 훈련함.
• 기존의 변분 자료 융합 파이프라인 내에서 효율적으로 훈련 및 구현하기 위해 자동 미분 및 GPU 가속을 활용함.

실험 결과

연구 질문

• RQ1 학습된 역관측 연산자가 혼돈 시스템에서 변분 자료 융합의 최적화 가능성을 향상시킬 수 있는가?
• RQ2 학습된 역관측 연산자를 초기화 및 목적 함수 변환에 활용할 경우, 기존 방법에 비해 더 높은 예측 정확도를 달성할 수 있는가?
• RQ3 물리 공간에서 최적화한 후 관측 공간으로 전환하는 하이브리드 최적화 전략이 순수 관측 공간 최적화에 비해 성능가능성이 높은가?
• RQ4 역연산자 초기화의 품질이 관측 공간에서의 최적화를 얼마나 줄일 수 있는가?
• RQ5 기계학습 기반 자료 융합이 전통적 접근 방식을 능가하면서도 물리적 일치성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 기준 방법에 비해 로렌츠96 모델에서 평균 L1 예측 오차를 75% 감소시켰다.
• 코르골로프 흐름에서는 역초기화와 하이브리드 최적화를 통해 예측 오차가 77% 상대적으로 감소하였다.
• 역초기화는 보간 기반 초기화보다 성능이 뛰어나며, 후자는 하이브리드 최적화의 이점을 얻지 못했는데, 이는 낮은 체감 영역 때문이었다.
• 하이브리드 최적화(물리 공간에서 먼저 최적화한 후 관측 공간으로 전환)는 로렌츠96 모델에선 성능 향상을 가져왔지만, 코르골로프 흐름에선 추가적인 향상이 없었는데, 이는 역연산자가 이미 근사 최적의 초기 상태를 제공했기 때문이다.
• 학습된 역관측 연산자는 수렴 경로를 크게 향상시켜 비凸 최적화 환경에서 더 빠르고 정확한 최적화를 가능하게 하였다.
• 학습된 역관측 연산자를 통해 최적화를 향상시키면서도 정확한 물리 모델을 유지함으로써 물리적 일치성을 유지하였으며, 모델 교체가 필요 없었다.