[論文レビュー] Probabilistic Linear Multistep Methods

Onur Teymur, Konstantinos C. Zygalakis+1 more|arXiv (Cornell University)|Oct 26, 2016

Gaussian Processes and Bayesian Inference被引用数 14

ひとこと要約

本稿では、ガウス過程フレームワークを用いてアダムス・バッシュフォーストおよびアダムス・ムールトン線形多段法の確率的バージョンを導出しており、事後平均が決定論的法の解と一致し、事後標準偏差が局所切捨て誤差に等しくなるように保証している。このアプローチは、最小限の計算コスト増で高次の収束を達成し、正確性や効率性を損なわずに不確実性の定量化を可能にする。

ABSTRACT

We present a derivation and theoretical investigation of the Adams-Bashforth and Adams-Moulton family of linear multistep methods for solving ordinary differential equations, starting from a Gaussian process (GP) framework. In the limit, this formulation coincides with the classical deterministic methods, which have been used as higher-order initial value problem solvers for over a century. Furthermore, the natural probabilistic framework provided by the GP formulation allows us to derive probabilistic versions of these methods, in the spirit of a number of other probabilistic ODE solvers presented in the recent literature. In contrast to higher-order Runge-Kutta methods, which require multiple intermediate function evaluations per step, Adams family methods make use of previous function evaluations, so that increased accuracy arising from a higher-order multistep approach comes at very little additional computational cost. We show that through a careful choice of covariance function for the GP, the posterior mean and standard deviation over the numerical solution can be made to exactly coincide with the value given by the deterministic method and its local truncation error respectively. We provide a rigorous proof of the convergence of these new methods, as well as an empirical investigation (up to fifth order) demonstrating their convergence rates in practice.

研究の動機と目的

• 古典的決定論的解法の収束性および安定性の性質を継承する確率的フレームワークを、線形多段法に開発すること。
• ガウス過程事前分布を用いて数値誤差をエピステミック的不確実性としてモデル化することで、ODE 解における不確実性の定量化を可能にすること。
• 既存の確率的数値法を高次の多段スキームに拡張し、追加の関数評価を最小限に抑えつつ精度を向上させること。
• 提案された確率的積分法の収束率を厳密に証明し、実験的に検証すること。
• カオス的および周期的力学系への応用を通じて、実用的有用性を示すこと。

提案手法

• ODE の解を、解の軌道上にガウス過程事前分布として定式化し、過去の関数評価値を用いて逐次的に条件付き分布を構築する。
• 過去の状態および関数値に有限な移動ウィンドウの依存性を課し、s段のアダムス・バッシュフォースト／ムールトン構造と整合させる。
• 事後平均および分散を構築する際、平均が決定論的線形多段法と正確に一致し、標準偏差が局所切捨て誤差に等しくなるようにする。
• 確率的事後分布と古典的誤差推定値との正確な一致を保証するため、適切に選ばれた共分散関数を用いる。
• 5次までの一般形の確率的積分法を導出し、最小限の計算コスト増で高次精度を達成できるようにする。
• 解と関数評価変数の連関分布のテレスコピック因数分解を用いて、逐次的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アダムス・バッシュフォーストおよびアダムス・ムールトンの線形多段法族は、確率的ガウス過程フレームワークから導出可能か？
• RQ2 確率的積分法の事後平均は、対応する決定論的線形多段法の解と正確に一致するか？
• RQ3 確率的積分法の事後標準偏差を、決定論的法の局所切捨て誤差に正確に一致させることができるか？
• RQ4 提案された確率的多段法の理論的収束率は何か？
• RQ5 カオス的および周期的 ODE において、確率的積分法は実際の性能を示すか、特に誤差分布および軌道発散の観点からどうなるか？

主な発見

• 確率的積分法の事後平均は、対応する決定論的アダムス・バッシュフォーストまたはアダムス・ムールトン法の解と正確に一致する。
• 各ステップにおける事後標準偏差は、決定論的法の局所切捨て誤差に等しくなり、根拠に基づいた不確実性推定を提供する。
• 収束率は古典的決定論的スキームと一致しており、ロットカ・ヴォルテラ・モデルにおける実験的結果により、次数1から5までの収束が確認された。
• シュア回路において、s=3およびs=5の高次確率的積分法は、s=1のものよりも数値的軌道発散の発生を遅らせるが、ウォールクロック時間に顕著な増加は見られない。
• 2段および3段の確率的積分法における誤差は、ゼロのまわりにほぼ対称的に分布しており、逆問題におけるバイアス低減の可能性を示唆している。
• 本フレームワークは、古典的多段法を確率的数値パラダイムへ自然に拡張するものであり、解釈可能性を保ちながら不確実性の定量化を追加している。