[논문 리뷰] Auto-differentiable data assimilation: Co-learning of states, dynamics, and filtering algorithms

Melissa Adrian, Daniel Sanz-Alonso외 1명|arXiv (Cornell University)|2026. 03. 21.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

이 논문은 자동 미분을 사용한 데이터 동화에서 상태, 역학 및 필터링 매개변수를 함께 학습하는 일반 프레임워크를 제시하고, 이 프레임워크 내에서 새로운 알고리즘들을 도입합니다. 다수의 동적 시스템에서의 공동 학습을 시연하고, 실무자들을 위한 실용적인 지침을 제공합니다.

ABSTRACT

Data assimilation algorithms estimate the state of a dynamical system from partial observations, where the successful performance of these algorithms hinges on costly parameter tuning and on employing an accurate model for the dynamics. This paper introduces a framework for jointly learning the state, dynamics, and parameters of filtering algorithms in data assimilation through a process we refer to as auto-differentiable filtering. The framework leverages a theoretically motivated loss function that enables learning from partial, noisy observations via gradient-based optimization using auto-differentiation. We further demonstrate how several well-known data assimilation methods can be learned or tuned within this framework. To underscore the versatility of auto-differentiable filtering, we perform experiments on dynamical systems spanning multiple scientific domains, such as the Clohessy-Wiltshire equations from aerospace engineering, the Lorenz-96 system from atmospheric science, and the generalized Lotka-Volterra equations from systems biology. Finally, we provide guidelines for practitioners to customize our framework according to their observation model, accuracy requirements, and computational budget.

연구 동기 및 목표

• 부분적이고 노이즈가 섞인 관측으로부터 상태, 역학 및 필터링 매개변수를 함께 학습하여 데이터 동화 파이프라인의 튜닝 문제를 제기하고 해결한다.
• 일반적이고 이론적으로 동기가 부여된 프레임워크를 제공하여 기존의 자동 미분 가능 데이터 동화 방법들을 통합하고 확장한다.
• 이 프레임워크 내에서 새 알고리즘(AD-3DVar C, AD-Ens3DVar)을 도입하고, AD-EnKF를 필터링 매개변수 학습도 가능하게 확장한다.
• 항공우주, 대기과학, 생물학의 다양한 동적 시스템에서 프레임워크를 시연한다.
• 관찰 모델의 종류, 정확도 요구사항 및 계산 예산에 맞춰 프레임워크를 조정하기 위한 실용적 지침을 제공한다.

제안 방법

• 3DVar, EnKF, Ens3DVar를 특수한 경우로 포함하는 일반 필터링 형태를 제안하고, 예측 모델 M와 칼만 이득 K이 학습 가능한 매개변수 및 로 매개변수화되도록 한다.
• 블록 단위 관측 예측의 가우시안 가능도 근사를 기반으로 손실 함수를 정의하여, 자동 미분을 통한 6 및 를 gradient-based 방식으로 학습 가능하게 한다.
• 정적 예측 오차 공분산을 학습하는 AD-3DVar-C, 정적 및 앙상블 공분산을 혼합하는 하이브리드 공분산 학습인 AD-Ens3DVar와 같은 자동 미분 가능 변형들을 도출하고 상세히 설명한다.
• 공분산 팽창 및 기타 필터링 매개변수 학습을 포함하도록 AD-EnKF를 확장한다.
• 시간적 안정화를 위한 TBPTT에서 영감을 얻은 학습 절차를 도입하여 시계열에서의 오프라인 그래디언트 기반 학습을 안정화한다.
• 자동 미분 가능 프레임워크 내에서 앙상블 기반 및 앙상블 프리 필터링의 계산 및 메모리 고려사항을 논의한다.

(a) Parameter estimation error across choices of error level $\sigma_{0}^{2}$ in the initialized models, where $H=I_{3\times 6}$ and $R=0.1I_{3\times 3}$ .

실험 결과

연구 질문

• RQ1 부분적이고 노이즈가 섞인 관측으로부터 상태 트랙과 기본 역학 및 필터링 매개변수를 모두 학습하는 단일의 통합 자동 미분 가능 필터링 프레임워크가 가능한가?
• RQ2 특정 구현들(3DVar-C, EnKF, Ens3DVar)이 이 프레임워크 내에서 어떻게 일반화되며, 시시각각 변하는 관측 모델과 계산 예산 하에서 어떤 이점을 가지는가?
• RQ3 예측 및 분석 매개변수 학습이 서로 다른 도메인에서 정확도, 확장성 및 효율성에 어떤 영향을 미치는가?
• RQ4 프레임워크에서 도출된 새로운 알고리즘(예: AD-3DVar-C, AD-Ens3DVar)이 다양한 응용 분야에서 기존 방법을 능가할 수 있는가?
• RQ5 관찰 모델과 자원 제약을 고려할 때 모델, 손실, 학습 전략을 실무자에게 제시할 수 있는 지침은 무엇인가?

주요 결과

• 프레임워크는 이론적으로 근거가 있는 가능도 기반 손실로 자동 미분을 통해 상태, 역학, 필터링 매개변수를 함께 학습할 수 있게 한다.
• 프레임워크 내의 새로운 알고리즘으로 AD-3DVar-C 및 AD-Ens3DVar가 도입되어 시간에 따라 변화하는 관찰 및 자원 제약을 처리하는 확장성을 확대한다.
• AD-EnKF 및 AD-3DVar-K와 같은 기존 방법을 일반화하고, 서로 다른 필터링 패러다임 간의 공동 학습으로의 일관된 경로를 제공한다.
• 실험은 Clohessy-Wiltshire, Lorenz-96, 일반화된 Lotka-Volterra 시스템을 포함하여 항공우주, 대기과학 및 시스템 생물학에서의 다재다능성을 보여준다.
• 실무자들을 위한 관찰 모델, 정확도 요건 및 계산 예산에 맞춘 프레임워크 조정에 대한 실용 지침을 제공한다.

(b) Parameter estimation error across observation error variance, where $H=I_{3\times 6}$ and $\sigma_{0}^{2}=0.03$ .