[論文レビュー] Probabilistic ODE Solvers with Runge-Kutta Means

Michael Schober, David Duvenaud+1 more|arXiv (Cornell University)|Jun 10, 2014

Gaussian Processes and Bayesian Inference参考文献 29被引用数 43

ひとこと要約

本稿では、3次までの古典的ルンゲ＝クッタ法の事後平均を正確に再現する確率的ODEソルバーの族を提案する。この手法は、完全なガウス過程事後分布を返す。ルンゲ＝クッタ構造を整合性のある共分散選択によりガウス過程フレームワークに組み込むことで、RKソルバーの高次精度を維持しながら、不確実性の定量化、改善されたキャリブレーション、確率的推論を可能にする。数値実験では、平方指数カーネルを用いた標準的なGPソルバーを上回る精度と不確実性のキャリブレーションを示した。

ABSTRACT

Runge-Kutta methods are the classic family of solvers for ordinary differential equations (ODEs), and the basis for the state of the art. Like most numerical methods, they return point estimates. We construct a family of probabilistic numerical methods that instead return a Gauss-Markov process defining a probability distribution over the ODE solution. In contrast to prior work, we construct this family such that posterior means match the outputs of the Runge-Kutta family exactly, thus inheriting their proven good properties. Remaining degrees of freedom not identified by the match to Runge-Kutta are chosen such that the posterior probability measure fits the observed structure of the ODE. Our results shed light on the structure of Runge-Kutta solvers from a new direction, provide a richer, probabilistic output, have low computational cost, and raise new research questions.

研究の動機と目的

• 古典的ルンゲ＝クッタ法の高次精度を保ちつつ、解の全事後分布を提供する確率的数値手法の開発。
• 既存のガウス過程ODEソルバーにおける理論的収束保証の欠如と不確実性の不適切なキャリブレーションという問題の解決。
• 後退確率的解法としてのガウス過程ベースのソルバー族を構築し、その事後平均が明示的ルンゲ＝クッタ法（p ≤ 3）のものと正確に一致することを保証。
• 計算効率を維持したまま、解空間からのサンプリングや周辺化といったより洗練された推論能力を可能にすること。

提案手法

• 解軌道 x(t) にガウス過程事前分布を定義し、ルンゲ＝クッタの求積点における ˙x(t) の観測値を用いる。
• バーサー図構造に一致するようにGPの外挿を調整することで、各ステップにおける事後平均関数がルンゲ＝クッタ解と正確に一致することを保証する。
• GP共分散の残りの自由度は、ODEの構造、特に統合ウィーナー過程事前分布を的確に反映するように統計的推定により選択される。
• ガウス・マルコフ過程事前分布を用いることで、古典的RK法との正確な事後平均一致と効率的な推論を実現する。
• 最初のステップ以降、RKフレームワークを越えて勾配観測値を継続的に収集することで、グローバル不確実性の増大を反映する、増大する周辺分散を実現する。
• 単純なチェインや後処理のスムージングに依存せず、直接的にGP推論プロセスを拡張することで、ステップ間での確率的整合性を保持する。

実験結果

リサーチクエスチョン

• RQ1 p ≤ 3 の古典的ルンゲ＝クッタ法の解と正確に一致する確率的数値手法を構築することは可能か？
• RQ2 ルンゲ＝クッタ法の構造をどのようにガウス過程フレームワークに埋め込むことで、精度と不確実性定量化の両方を維持できるか？
• RQ3 平方指数カーネルと比較して、異なる共分散関数の選択がGP ODEソルバーのキャリブレーションと性能に与える影響は何か？
• RQ4 確率的フレームワークを用いる場合、特にRKパラダイムを越えて、最初の段階の評価後、ODEソルバーはどのように処理を継続すべきか？
• RQ5 3次以上の高次法へまで、ルンゲ＝クッタ法のGP解釈を拡張することは可能か？

主な発見

• 提案されたガウス過程ルンゲ＝クッタ（GMRK）法は、p = 1, 2, 3 の古典的ルンゲ＝クッタ法と正確に事後平均を一致させる。
• 標準的な平方指数カーネルを用いたGPソルバーと比較して、GMRK法は優れたキャリブレーションを示し、真の解をよりよくカバーする不確実性区間を提供する。
• 数値実験において、GMRK法は真の解に近い平均とより良い不確実性推定を達成し、SEカーネルGPソルバーを上回った。
• 確率的に整合性のある継続モード（最初のRKステップを越えて推論を継続）により、自然に増大する周辺分散が得られ、グローバル誤差の増大を反映する。
• 関数値観測を後処理で追加するスムージングベースのアプローチが生じる人工的な信頼度のノードを回避する。
• 本手法により、ルンゲ＝クッタ法が構造的GP事後分布の平均として解釈され、確率的ODEソルバーの理論的基盤に関する新たな問いを提起する。