[論文レビュー] Bayesian Filtering for ODEs with Bounded Derivatives

Emilia Magnani, Hans Kersting+2 more|arXiv (Cornell University)|Sep 25, 2017

Stochastic processes and financial applications参考文献 2被引用数 5

ひとこと要約

本稿では、導関数が有界である解をモデル化するため、統合・オーラン・アンドレーセン過程（IOUP）事前分布を用いた新しいベイジアンODEソルバーを提案する。これは、標準的な統合・ウィーナー過程（IWP）事前分布よりも安定性を向上させる。IOUP事前分布は高階導関数における平均回帰行動を強制し、導関数がゼロに戻る傾向があるODEに対して、より正確で保守的な不確実性評価を実現する。実験により、減衰系や振動系においてその有効性が検証された。

ABSTRACT

Recently there has been increasing interest in probabilistic solvers for ordinary differential equations (ODEs) that return full probability measures, instead of point estimates, over the solution and can incorporate uncertainty over the ODE at hand, e.g. if the vector field or the initial value is only approximately known or evaluable. The ODE filter proposed in recent work models the solution of the ODE by a Gauss-Markov process which serves as a prior in the sense of Bayesian statistics. While previous work employed a Wiener process prior on the (possibly multiple times) differentiated solution of the ODE and established equivalence of the corresponding solver with classical numerical methods, this paper raises the question whether other priors also yield practically useful solvers. To this end, we discuss a range of possible priors which enable fast filtering and propose a new prior--the Integrated Ornstein Uhlenbeck Process (IOUP)--that complements the existing Integrated Wiener process (IWP) filter by encoding the property that a derivative in time of the solution is bounded in the sense that it tends to drift back to zero. We provide experiments comparing IWP and IOUP filters which support the belief that IWP approximates better divergent ODE's solutions whereas IOUP is a better prior for trajectories with bounded derivatives.

研究の動機と目的

• 導関数が有界である系において、非保守的であるとされる既存の確率的ODEソルバー（例：統合・ウィーナー過程（IWP））の限界を是正すること。
• IWPを超える代替確率過程が、ODEの確率的ソルバーにおいてより正確で頑健な結果をもたらすかどうかを調査すること。
• 導関数がゼロに戻るという物理的直感を反映する新たな事前分布「統合・オーラン・アンドレーセン過程（IOUP）」を考案すること。
• IOUPに基づくソルバーとIWPに基づくソルバーを、減衰系・振動系・剛性系を含む多様なODEタイプにおいて、実験的に比較すること。
• 導関数が有界に保たれる系において、IOUP事前分布が不確実性評価と解の忠実度を向上させることを検証すること。

提案手法

• 解をガウス・マルコフ過程としてモデル化するベイジアンフィルタリングフレームワークを提案し、特に$q$階導関数が平均回帰する統合・オーラン・アンドレーセン過程（IOUP）を用いる。
• IOUP事前分布のフィルタリング方程式を導出。マルコフ性を活用することで、解の事後分布を効率的かつ逐次的に計算可能にする。
• 状態空間表現を採用。状態ベクトルには解および$q$階までの導関数を含み、線形SDEのドリフトおよび拡散係数をオーラン・アンドレーセン過程から導出。
• カルマンフィルタを適用し、ベクトル場$f$のノイズ付き観測値を用いて、事後分布を再帰的に更新。$f$の評価値をノイズ付きデータとして扱う。
• 連続時間形式のIOUP事前分布を採用。これにより、時間的に滑らかで一貫性のある不確実性伝播が保証される。
• 既知の解を持つベンチマークODEにおいて、IOUPベースのソルバーと標準的なIWPベースのソルバーを、解の精度、分散、収束特性の観点から比較。

実験結果

リサーチクエスチョン

• RQ1 IWPを超える代替確率過程が、確率的ODEソルバーの有効な事前分布として機能するか。
• RQ2 $q$階導関数に平均回帰を強制するIOUP事前分布は、IWP事前分布よりも正確で安定した解近似を実現するか。
• RQ3 どのようなODEにおいてIOUP事前分布がIWP事前分布を上回るか。特に、導関数が有界に保たれる系において。
• RQ4 振動系において、IOUPベースのソルバーはどのように性能を発揮するか。特に、導関数が周期的に符号と大きさを変化させる系において。
• RQ5 剛性系や減衰系において、IOUP事前分布はIWP事前分布に比べて不確実性評価をどの程度改善するか。

主な発見

• 導関数が有界である系（例：指数減衰、放射性崩壊鎖）では、IOUPベースのソルバーが真の解の周囲で著しく少ない振動を示す。これは平均回帰性のおかげである。
• 負の指数減衰問題（図2b）では、IOUPソルバーは真の解に一貫して近いが、IWPソルバーは平均回帰がないため、より大きなずれを示す。
• ヴァン・デル・ポール振動子（図3b）では、IOUPソルバーがIWPソルバーを上回る性能を示し、系のダイナミクスが自然に有界導関数を示す場合、導関数の平均回帰が有益であることが示唆される。
• 一方、非振動的正の指数増加（図2a）では、IWPソルバーがより優れた性能を示し、これはIOUP事前分布が発散解に対してあまりに制限的である可能性を示唆する。
• 剛性系（例：問題3）では、IOUPソルバーが真の解の周囲で低い事後分散を維持する。これは不確実性推定の保守性と信頼性が向上していることを示している。
• $q$階導関数がゼロに向かって引き寄せられる系（例：崩壊過程）では、IOUP事前分布が特に有効である。これは物理的妥当性と実用的有用性を裏付けている。