[논문 리뷰] Learning to Assimilate in Chaotic Dynamical Systems

Michael T. McCabe, Jed Brown|arXiv (Cornell University)|2021. 11. 01.

Meteorological Phenomena and Simulations참고 문헌 58인용 수 4

한 줄 요약

이 논문은 지도 학습이 필요 없이 잡음이 섞이고 부분적인 관측만 존재하는 혼돈 동역계에서의 초기 상태를 추정할 수 있도록 학습하는 자기지도 학습 기반 딥러닝 프레임워크인 amortized assimilation을 제안한다. 이는 지도 학습이 필요 없이 노이즈가 있는 부분 관측과 미분 가능한 시뮬레이션만을 사용하며, 기존의 변분 데이터 통합 방법보다 성능이 뛰어나며, 특히 소규모 앙상블 크기와 높은 노이즈 수준에서 뛰어난 성능을 보인다. 이는 신경망 학습을 통해 변분 통합의 계산 비용을 약간씩 분산시키는 방식으로 달성된다.

ABSTRACT

The accuracy of simulation-based forecasting in chaotic systems is heavily dependent on high-quality estimates of the system state at the time the forecast is initialized. Data assimilation methods are used to infer these initial conditions by systematically combining noisy, incomplete observations and numerical models of system dynamics to produce effective estimation schemes. We introduce amortized assimilation, a framework for learning to assimilate in dynamical systems from sequences of noisy observations with no need for ground truth data. We motivate the framework by extending powerful results from self-supervised denoising to the dynamical systems setting through the use of differentiable simulation. Experimental results across several benchmark systems highlight the improved effectiveness of our approach over widely-used data assimilation methods.

연구 동기 및 목표

• 혼란 동역계에서 초기 조건 추정의 정확도를 높이는 데 도전한다. 여기서 작은 오차는 빠르게 증폭된다.
• 지상 진실 데이터가 없는 환경에서 작동하는 데이터 통합 방법을 개발한다. 이는 오직 노이즈가 섞이고 부분적인 관측에 의존한다.
• 변분 데이터 통합의 계산 부담을 줄이기 위해 암시적 학습을 통해 신경망 정책을 학습한다.
• 미분 가능한 시뮬레이션을 활용해 정적 시스템에서의 자기지도 학습 기반 노이즈 제거 원리를 동적 시스템으로 확장한다.
• 자원 제약 조건(예: 소규모 앙상블 크기)이 있는 고위험 응용 분야(예: 수치 기상 예측)에서의 예측 정확도를 향상시킨다.

제안 방법

• 이 방법은 앙상블 칼만 필터(EnKF)를 영감으로 삼은 신경망 아키텍처를 사용하며, 미분 가능한 시뮬레이션에서 유도된 자기지도 목적 함수를 통해 학습된다.
• 이 방법은 시스템 역학을 통해 역전파를 수행할 수 있도록 미분 가능한 시뮬레이션을 활용하여, 통합 네트워크의 엔드 투 엔드 학습을 가능하게 한다.
• 이 프레임워크는 데이터 통합 문제를 시퀀스 투 시퀀스 학습 과제로 간주하며, 노이즈가 섞인 관측 시퀀스를 개선된 상태 추정치로 매핑하는 데 목적이 있다.
• 학습 목적 함수는 Batson과 Royer의 자기지도 노이즈 제거 이론을 동적 시스템으로 확장하여 유도되었으며, 모델 자체의 예측을 가짜 지상 진실 데이터로 사용한다.
• 이 방법은 DAPPER 라이브러리를 사용하여 구현되었으며, ODE와 PDE 모두를 지원한다. 대표적인 시스템으로는 Lorenz-96, Kuramoto-Shivashinsky, Vissio-Lucarini 20 등이 포함된다.
• 학습이 끝난 후에는 신속하고 순차적인 필터링이 가능해지며, 추론 시에 고비용 최적화 문제를 해결할 필요가 없어져 암시적 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 지상 진실 초기 상태에 접근할 수 없는 환경에서 자기지도 딥러닝 프레임워크가 혼돈 동역계에서 효과적으로 통합을 수행할 수 있는가?
• RQ2 기존의 변분 및 앙상블 기반 데이터 통합 방법과 비교했을 때 amortized assimilation의 정확도와 내성적 안정성은 어떠한가?
• RQ3 낮은 앙상블 크기와 높은 관측 노이즈와 같은 도전적인 조건에서도 성능을 유지하는가?
• RQ4 자기지도 노이즈 제거의 이론적 기반을 시간에 따라 변화하는 상태를 가지는 동적 시스템으로 얼마나 넓게 확장할 수 있는가?
• RQ5 이 프레임워크는 ODE와 PDE를 포함한 다양한 종류의 혼돈 시스템으로 일반화 가능한가?

주요 결과

• Amortized assimilation (AmEnF)는 Lorenz-96, Kuramoto-Shivashinsky, Vissio-Lucarini 20를 포함한 모든 벤치마크 시스템에서 4D-Var, LETKF, iEnKS와 비교해 성능을 견인하거나 초월한다.
• 이 방법은 전통적인 방법이 비선형성과 열악한 앙상블 표현으로 어려움을 겪는 소규모 앙상블 크기와 높은 노이즈 수준에서 가장 두드러진 성능 향상을 보였다.
• Kuramoto-Shivashinsky PDE에서, AmEnF는 ODE 기반 이론적 가정에 기반했음에도 불구하고 최고 성능을 보이는 모델들과 비교해 유사한 정확도를 달성했다.
• 반복 실험을 통해 높은 안정성을 보이며, 신뢰할 수 있는 일반화 능력과 내성적 안정성을 입증했다.
• 학습 비용은 반복적인 미분 가능한 시뮬레이션으로 인해 높지만, 암시적 추론은 빠르고 확장 가능하여 운영 예측에 적합하다.
• 접근성이 있는 애드조인트를 갖춘 기존 수치 모델과의 호환성은 가능하지만, 이는 현재 보급에 있어 여전히 한계로 남아 있다.