[논문 리뷰] Score-based Data Assimilation

François Rozet, Gilles Louppe|arXiv (Cornell University)|2023. 06. 18.

Gaussian Processes and Bayesian Inference인용 수 13

한 줄 요약

논문은 점수 기반 데이터 동화(SDA)를 도입하고, 짧은 궤적 구간에서 로컬 점수 모델을 학습하여 전체 상태 궤적을 비자 autoregressively로 추론하며, 추론 시 제로샷(observation guidance)을 제공합니다.

ABSTRACT

Data assimilation, in its most comprehensive form, addresses the Bayesian inverse problem of identifying plausible state trajectories that explain noisy or incomplete observations of stochastic dynamical systems. Various approaches have been proposed to solve this problem, including particle-based and variational methods. However, most algorithms depend on the transition dynamics for inference, which becomes intractable for long time horizons or for high-dimensional systems with complex dynamics, such as oceans or atmospheres. In this work, we introduce score-based data assimilation for trajectory inference. We learn a score-based generative model of state trajectories based on the key insight that the score of an arbitrarily long trajectory can be decomposed into a series of scores over short segments. After training, inference is carried out using the score model, in a non-autoregressive manner by generating all states simultaneously. Quite distinctively, we decouple the observation model from the training procedure and use it only at inference to guide the generative process, which enables a wide range of zero-shot observation scenarios. We present theoretical and empirical evidence supporting the effectiveness of our method.

연구 동기 및 목표

• 노이즈가 많고 불완전한 관찰을 갖는 고차원, 장기 시간지평 dynamical system에서 베이지안 궤적 추론을 addressing합니다.
• Markov 구조를 사용하여 짧은 궤적 구간으로부터 점수 기반 생성 모델을 학습하기 위한 SDA를 개발합니다.
• 비자 autoregressive 방식으로 전체 상태 궤적의 생성을 가능하게 하고 추론 시 관찰 가이드를 분리합니다.
• Chaotic 시스템에 대한 이론적 및 경험적 검증을 제공하고 점추정 최적화(variational) 접근 방식에 비해 장점을 시연합니다.

제안 방법

• 짧은 궤적 구간 x_{i-k:i+k}(t)에서 로컬 점수 네트워크를 학습시켜 p(x_{i-k:i+k}(t))의 로컬 점수를 근사합니다.
• 세그먼트 간 로컬 점수를 구성하여 전체 궤적 사전 점수 ∇_{x_{1:L}(t)} log p(x_{1:L}(t))를 근사합니다.
• 훈련에서 관찰 모델을 분리하고 추론 시에만 p(y|x)를 사용하여 재학습 없이 도출된 우도 점수(likelihood score)로 샘플링을 가이드합니다(제로샷).
• 가우시안 대리모델을 사용한 Tweedie 공식으로 perturbed likelihood p(y|x(t))를 근사하여 안정적인 우도 점수를 얻습니다.
• 포스터리오 p(x_{1:L}(t)|y)에서 샘플링하기 위해 예측-교정기(Langevin 보정)가 포함된 역 SDE를 사용합니다.
• 로컬 점수의 정당화를 위한 가짜 담요(pseudo-blanket) 아이디어를 활용하고 구간 크기에 따라 FCNN/UNet 스타일 아키텍처를 사용합니다; 노이즈 제거 점수 매칭으로 학습합니다.

실험 결과

연구 질문

• RQ1 짧은 궤적 구간에서 학습된 점수 기반 모델이 데이터 동화 환경에서 전체의 긴 궤적 포스터리를 재현할 수 있는가?
• RQ2 훈련에서 관찰 모델을 분리하면 추론 시 다양한 관찰 시나리오를 제로샷으로 처리할 수 있는가?
• RQ3 SDA가 전체 궤적 포스터리를 ground-truth 또는 전통적 데이터 동화 방법과 비교하여 얼마나 잘 근사하는가?
• RQ4 로컬 구간 크기(k), 샘플링 보정(C), 그리고 SDA의 계산 효율 사이의 트레이드오프는 어떠한가?
• RQ5 모호한 관찰 아래에서 SDA가 여러 포스터리 모드를 그럴듯하게 추론할 수 있는가?

주요 결과

• SDA는 혼란스러운 다이나믹 시스템의 그라운드트루스 포스터리를 재현하고 모호한 관찰 아래에서 여러 가능 포스터리 모드를 드러낼 수 있습니다.
• 로컬 점수 분해와 안정적인 우도 점수 근사를 결합하면 물리 모델에 대해 미분하지 않고도 정확한 포스터리 추론이 가능합니다.
• 포스터리 정확도는 더 큰 구간 창(k)과 더 많은 Langevin 보정(C)에서 향상되며, 중간 값 이후에는 수익이 감소합니다.
• SDA는 전체 상태 궤적의 비자 autoregressive 병렬 생성이 가능하게 하여 장기적 시야에서의 확장성을 향상시킵니다.