[論文レビュー] Score-based Data Assimilation

François Rozet, Gilles Louppe|arXiv (Cornell University)|Jun 18, 2023

Gaussian Processes and Bayesian Inference被引用数 13

ひとこと要約

本論文はスコアベースのデータ同化（SDA）を導入し、短い軌道セグメント上で局所スコアモデルを学習して全軌道を自己回帰なしで推定し、推論時にはゼロショット観測ガイダンスを提供する。

ABSTRACT

Data assimilation, in its most comprehensive form, addresses the Bayesian inverse problem of identifying plausible state trajectories that explain noisy or incomplete observations of stochastic dynamical systems. Various approaches have been proposed to solve this problem, including particle-based and variational methods. However, most algorithms depend on the transition dynamics for inference, which becomes intractable for long time horizons or for high-dimensional systems with complex dynamics, such as oceans or atmospheres. In this work, we introduce score-based data assimilation for trajectory inference. We learn a score-based generative model of state trajectories based on the key insight that the score of an arbitrarily long trajectory can be decomposed into a series of scores over short segments. After training, inference is carried out using the score model, in a non-autoregressive manner by generating all states simultaneously. Quite distinctively, we decouple the observation model from the training procedure and use it only at inference to guide the generative process, which enables a wide range of zero-shot observation scenarios. We present theoretical and empirical evidence supporting the effectiveness of our method.

研究の動機と目的

• ノイズがあり不完全な観測に対するベイズ的軌道推定を高次元・長期ダイナミカルシステムで解決する。
• マルコフ構造を用いて短い軌道セグメントからスコアベースの生成モデルを学習するSDAを開発する。
• 全体の状態軌道を非自己回帰生成し、推論時に観測ガイダンスをデカップル化する。
• カオス系における理論的・実証的検証を提供し、点推定型変分法よりも優位性を示す。

提案手法

• 短い軌道セグメント x_{i-k:i+k}(t) 上で局所スコア網を訓練し、 p(x_{i-k:i+k}(t)) の局所スコアを近似する。
• セグメント間で局所スコアを組み合わせて全軌道事前分布のスコア ∇_{x_{1:L}(t)} log p(x_{1:L}(t)) を近似する。
• 訓練から観測モデルをデカップルし、推論時には p(y|x) のみを使用して再学習なしに導出された尤度スコアを介してサンプリングをガイド（ゼロショット）する。
• Tweedieの公式を用いたガウス代替により摂動後の尤度 p(y|x(t)) を近似し、安定した尤度スコアを得る。
• 予測子・修正子（Langevin補正）を用いた逆SDEサンプリングで、事後 p(x_{1:L}(t)|y) から軌道を生成する。
• 局所スコアを正当化するための疑似ブランケットアイデアを活用し、セグメントサイズに応じた FCNN/UNet風アーキテクチャを採用; ノイズ除去スコア整合で訓練。

実験結果

リサーチクエスチョン

• RQ1 データ同化設定で短い軌道セグメント上で学習したスコアベースモデルは、長く完全な全軌道のポスターリオを再現できるか？
• RQ2 訓練と分離した観測モデルにより、推論時に多様な観測シナリオをゼロショットで扱えるか？
• RQ3 SDAは完全な軌道のポスター分布をグラウンドトゥルースや従来のデータ同化法と比較してどれくらい近似するか？
• RQ4 局所セグメントサイズ(k)、サンプリング修正(C)、計算効率のトレードオフはどうなるか？
• RQ5 曖昧な観測下でSDAは複数のポスターリオモードを適切に推定できるか？

主な発見

• SDAはカオス的ダイナミカルシステムの真のポスターリオを再現し、曖昧な観測下で複数の妥当なポスターモードを明らかにする。
• 局所スコア分解と安定した尤度スコア近似の組み合わせにより、物理モデルを微分することなく正確な後方推論を得られる。
• ポスターリの精度はセグメント窓(k)を大きくし、Langevin補正数(C)を増やすと改善するが、中程度の値を超えると利得は頭打ちになる。
• SDAは全状態軌道の非自己回帰・並列生成を可能にし、長い horizon のスケーラビリティを改善する。