[論文レビュー] A Score-based Nonlinear Filter for Data Assimilation

Feng Bao, Zezhong Zhang+1 more|arXiv (Cornell University)|Jun 15, 2023

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、拡散モデルを活用して従来のパーティクルフィルタの不安定性と次元の呪いを克服するスコアベースの非線形フィルタを提案する。スコア関数を用いてフィルタリング密度を表現し、逆時系列の拡散サンプリングを用いることで、高次元の確率的力学系における正確で非ガウス型の事後分布推定に制限のないサンプルを生成する。

ABSTRACT

We introduce a score-based generative sampling method for solving the nonlinear filtering problem with robust accuracy. A major drawback of existing nonlinear filtering methods, e.g., particle filters, is the low stability. To overcome this issue, we adopt the diffusion model framework to solve the nonlinear filtering problem. In stead of storing the information of the filtering density in finite number of Monte Carlo samples, in the score-based filter we store the information of the filtering density in the score model. Then, via the reverse-time diffusion sampler, we can generate unlimited samples to characterize the filtering density. Moreover, with the powerful expressive capabilities of deep neural networks, it has been demonstrated that a well trained score in diffusion model can produce samples from complex target distributions in very high dimensional spaces. Extensive numerical experiments show that our score-based filter could potentially address the curse of dimensionality in very high dimensional problems.

研究の動機と目的

• 非線形フィルタリング問題におけるパーティクルフィルタの不安定性と有限サンプルの制限を解消すること。
• パーティクルベースの表現を学習されたスコアモデルに置き換えることで、高次元状態推定における次元の呪いを克服すること。
• 深層生成モデリングを用いて非ガウス型のフィルタリング密度の堅牢で高精度な近似を可能とすること。
• スコアベースの生成モデルの表現力を利用し、ガウス分布の仮定に依存せずに複雑なフィルタリング分布を表現すること。

提案手法

• フィルタリング問題を、学習されたスコア関数によって暗黙的に表現されるフィルタリング密度を持つ拡散モデルの枠組みに定式化する。
• 真の状態分布を標準ガウス分布へ段階的に汚染する前向きSDEを用い、スコアモデルの学習を可能にする。
• 各ノイズレベルにおける真のスコアと予測スコアの差を最小化するノイズ除去損失を用いてスコアモデルを訓練する。
• 訓練済みスコアモデルを用いて逆時系列SDEサンプリングを実行し、フィルタリング密度から制限のないサンプルを生成する。
• 実装上の実用性を高めるために、時間分解能を調整可能なEuler-Maruyamaスキームを用いて逆時系列SDEを離散化する。
• 学習損失の各段階でのバランスをとるために、重み関数λ(τ)とノイズスケジュールβτを採用する。

Figure 1: The overview of the proposed score-based filter

実験結果

リサーチクエスチョン

• RQ1 スコアベースの生成モデルは、高次元非線形系における複雑で非ガウス型のフィルタリング密度を効果的に表現できるか？
• RQ2 提案されたスコアベースのフィルタは、高次元条件下で従来のパーティクルフィルタよりも安定性と精度に優れているか？
• RQ3 拡散モデルの枠組みは、データ同化タスクにおける次元の呪いをどの程度軽減できるか？
• RQ4 学習されたスコアモデルは、さまざまな非線形力学系および観測モデルに一般化して適応できるか？
• RQ5 逆時系列の拡散サンプリングプロセスは、1組の初期ガウスサンプルから信頼性高くフィルタリング密度を再構築できるか？

主な発見

• パーティクルフィルタが劣化や不安定性を示す高次元フィルタリング問題において、スコアベースのフィルタは堅牢な性能を発揮する。
• 深層スコアモデルを用いることで、ガウス分布の仮定に依存しない複雑な非ガウス型のフィルタリング密度を効果的に学習し、正確な事後分布近似を可能にする。
• 広範な数値実験により、この手法が高次元系を効果的に扱えることが示され、次元の呪いの緩和が期待される。
• スコアモデルの使用により、パーティクルフィルタに内在する有限サンプルの制限を克服し、制限のないサンプル生成が可能になる。
• 条件付きスコアの解析的表現のおかげで、学習損失は計算的に扱いやすく、モンテカルロサンプリングによる効率的な最適化が可能になる。
• 逆時系列SDEサンプリングプロセスにより、実証的分布マッチングの検証を通じて、真のフィルタリング密度に近い分布を生成するサンプルが得られる。

Figure 2: Example 1. Double-well potential.