[論文レビュー] FLUX: Progressive State Estimation Based on Zakai-type Distributed Ordinary Differential Equations

Uwe D. Hanebeck|arXiv (Cornell University)|Aug 8, 2018

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

FLUX は、非線形状態推定における確率密度関数の段階的推定を可能にする、Zakai 型分散常微分方程式（DODE）を用いたホモトピー続行法を提案する。人工時間 γ ∈ [0,1] においてパラメータを事前分布から事後分布へと段階的に変化させることで、偏微分方程式を解かずに、反復的でなく、最適化を要しない高速な近似が可能となる。これは、パーティクルフローを含むパラメトリックおよびノンパラメトリック表現に適用可能である。

ABSTRACT

We propose a homotopy continuation method called FLUX for approximating complicated probability density functions. It is based on progressive processing for smoothly morphing a given density into the desired one. Distributed ordinary differential equations (DODEs) with an artificial time $\\gamma \\in [0,1]$ are derived for describing the evolution from the initial density to the desired final density. For a finite-dimensional parametrization, the DODEs are converted to a system of ordinary differential equations (SODEs), which are solved for $\\gamma \\in [0,1]$ and return the desired result for $\\gamma=1$. This includes parametric representations such as Gaussians or Gaussian mixtures and nonparametric setups such as sample sets. In the latter case, we obtain a particle flow between the two densities along the artificial time. FLUX is applied to state estimation in stochastic nonlinear dynamic systems by gradual inclusion of measurement information. The proposed approximation method (1) is fast, (2) can be applied to arbitrary nonlinear systems and is not limited to additive noise, (3) allows for target densities that are only known at certain points, (4) does not require optimization, (5) does not require the solution of partial differential equations, and (6) works with standard procedures for solving SODEs. This manuscript is limited to the one-dimensional case and a fixed number of parameters during the progression. Future extensions will include consideration of higher dimensions and on the fly adaption of the number of parameters.

研究の動機と目的

• 従来の方法がパーティクルの劣化や高い計算コストに直面する非線形確率的システムにおいて、複雑な事後確率密度関数を近似する課題に対処すること。
• 反復的最適化や偏微分方程式の解法を必要とせず、事前密度から所望の事後密度への滑らかで段階的な変換を可能にする手法の開発。
• ガウス混合モデルなどのパラメトリック表現と、パーティクル集合などのノンパラメトリック表現の両方をサポートするフレームワークを提供し、一貫性があり効率的な計算を実現すること。
• MCMC や重要度サンプリングなどの複雑な数値的手法を回避し、標準的な ODE スolver を活用することで、実時間での状態推定を実現すること。
• 高次元系への拡張および適応的パラメータ化（例えば、パーティクル数や成分数の動的調整）の基盤を築くこと。

提案手法

• 人工時間 γ ∈ [0,1] を用いたホモトピー続行法を定式化し、初期密度を DODE で定義されるフローに従って事後密度へ滑らかに変換する。
• 密度近似の進化を支配する分散常微分方程式（DODE）の系を導出する。γ = 1 での解が所望の事後分布に対応する。
• 有限次元パラメータ化（例：パーティクル位置、ガウス・ミックスのパラメータ）において、DODE は標準的な ODE スolver で解ける常微分方程式系（SODE）に簡略化される。
• パーティクルフロー機構を導入し、密度フローの対数微分から導かれる速度場に従ってパーティクル位置が γ に沿って進化させることで、重みに依存しないパーティクルの伝搬を実現する。
• 状態領域を離散化するためのコロケーション点を用い、DODE を数値的に解く。これにより連続的フローが、パラメータ ベクトル η(γ) の連立 ODE に変換される。
• 進化する密度の時間微分を ˙fₑ(x,γ) = pᵀ(x,γ) · ˙η(γ) の形で表現し、p(x,γ) は密度がパラメータ変化にどのように感度を示すかを符号化する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化や偏微分方程式の解法に依存せずに、非線形状態推定における複雑な事後密度関数を効率的に近似する方法は何か？
• RQ2 数値的安定性と計算効率を保証するホモトピー法を用いて、事前分布と事後分布の間の連続的で段階的なフローを構築できるか？
• RQ3 パーティクル集合などのノンパラメトリック表現において、パーティクルの劣化やリサンプリングを回避できるか、その限界は何か？
• RQ4 非線形的かつ非ガウス的系において、標準的なパーティクルフィルターやフィードバックパーティクルフィルターと比較して、本手法の精度と速度はどの程度か？
• RQ5 現在の1次元で固定されたパラメータ化の形式の限界は何か？高次元化および適応的パラメータ化においてどのように克服できるか？

主な発見

• パラメータ ベクトルを人工時間 γ ∈ [0,1] に沿って進化させることで、正確な事後分布近似が達成され、γ = 1 での最終状態が所望の事後分布に対応する。
• 最適化や偏微分方程式の解法を回避し、標準的な ODE スolver に依存することで、計算複雑性と実行時間のばらつきが顕著に低減される。
• パーティクル表現においては、重みに依存せず、高事後確率領域へとパーティクルを移動させるパーティクルフローが生成され、パーティクルの劣化が緩和される。
• ガウス分布、ガウス・ミックス、サンプル集合を含む、パラメトリックおよびノンパラメトリックな密度表現の両方へ適用可能であり、一貫性のある定式化が可能である。
• 導出は数学的に取り扱いやすく直感的であり、密度質量がパラメータ化された経路に沿って輸送されるという明確な物理的解釈が可能である。
• 高次元への拡張および動的パラメータ適応への拡張が可能であり、今後の作業では組み込み環境向けのリアルタイム C++ コード生成をターゲットとしている。