[論文レビュー] A variational approach to path estimation and parameter inference of hidden diffusion processes

Tobias Sutter, Arnab Ganguly+1 more|arXiv (Cornell University)|Aug 3, 2015

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿は、確率微分方程式（SDE）に従う隠れ拡散過程における経路推定およびパラメータ推定のための変分推論フレームワークを提案する。潜在状態の事後分布をガウス過程で近似し、最適制御を用いてカルバック・ライバラー（Kullback-Leibler）発散を最小化することで、離散化やモンテカルロサンプルを用いない高精度なスムージングおよびパラメータ推定を実現する。2つの代表的例において高い精度が得られた。

ABSTRACT

We consider a hidden Markov model, where the signal process, given by a diffusion, is only indirectly observed through some noisy measurements. The article develops a variational method for approximating the hidden states of the signal process given the full set of observations. This, in particular, leads to systematic approximations of the smoothing densities of the signal process. The paper then demonstrates how an efficient inference scheme, based on this variational approach to the approximation of the hidden states, can be designed to estimate the unknown parameters of stochastic differential equations. Two examples at the end illustrate the efficacy and the accuracy of the presented method.

研究の動機と目的

• 拡散過程を伴う隠れマルコフモデルにおけるスムージング密度の系統的近似手法の開発を目的とする。
• 定数でない拡散係数を有する一般のSDEにおける推論の課題に取り組み、先行研究が定数拡散に限定されていたのを拡張する。
• 潜在状態の変分近似を用いて、未知のSDEパラメータの効率的推定スキームを設計することを目的とする。
• 非モンテカルロ的手法として、非線形SDEにおける事後分布推定のための理論的裏付けを持つ代替手法を提供することを目的とする。
• 真の事後分布とガウス近似との相対エントロピーを最小化することで、正確な経路再構築とパラメータ推定を可能とすることを目的とする。

提案手法

• 本手法は、真の潜在状態プロセスの事後分布をガウス過程で近似し、忠実度を保証するためカルバック・ライバラー発散を最小化する。
• 最適制御の定式化を用いて、近似SDEの最適パラメータを導出する。ここで平均と分散を制御変数として扱う。
• 全事後分布を局所的ガウス近似の凸結合として表現することで、モーメントおよび微分の取り扱いが容易になる。
• 平均と分散の動的変化は、フォッカー・プランク方程式と変分法から導かれる常微分方程式系に従う。
• 伊藤の公式と条件付き期待値を用いて、近似プロセスの一次および二次モーメントの時間発展方程式を導出する。
• パラメータ推定は、変分下界の最適化により実行され、推定経路を用いてSDEパラメータを反復的に更新する。

実験結果

リサーチクエスチョン

• RQ1 粒子フィルターやMCMCに依存せずに、隠れ拡散過程のスムージング密度を体系的に近似する方法は何か？
• RQ2 ガウス近似に基づく変分的手法は、定数でない拡散係数を有するSDEに対しても正確な経路推定を可能にするか？
• RQ3 真の事後分布からのKL発散を最小化するための、近似SDEの最適なパrameter化は何か？
• RQ4 得られる推論スキームを高次元または複雑なSDEにまで計算的に効率的かつスケーラブルに拡張する方法は何か？
• RQ5 精度および収束性の観点から、標準的な離散化ベースまたはサンプリングベースの手法に比べて、変分法はどの程度優れているか？

主な発見

• 真の事後分布とガウス近似とのKL発散を最小化することで、離散化やサンプリングを回避した高精度な経路推定が達成された。
• 本手法は、定数でない拡散係数を有するSDEに対しても効果的に機能し、先行研究が定数拡散に限定されていた主な制限を克服した。
• 平均と分散のための導出されたODE系により、時間連続的最適化を用いたスムージング密度の効率的計算が可能となった。
• ベンチマーク例2例において高い精度が示され、既存の推定技術と同等以上の性能を示した。
• 変分経路推定に基づくパラメータ推定スキームは、未知のSDEパラメータに対して一貫性があり高精度な推定を達成した。
• 本フレームワークは、粒子フィルターやMCMCの理論的裏付けのある非確率的代替手法を提供し、変分目的関数による誤差制御が定量的に可能となった。