[論文レビュー] Stable Implementation of Probabilistic ODE Solvers

Nicholas Krämer, Philipp Hennig|arXiv (Cornell University)|Dec 18, 2020

Model Reduction and Neural Networks参考文献 36被引用数 7

ひとこと要約

本稿では、高精度の初期化、ステップサイズに依存しない安定性を実現する座標変換プリコンディショナ、および平方根フィルタリングを組み合わせることで、高次の確率的ODEソルバの数値安定な実装を提案する。この手法により、11次までの確率的解の安定計算が可能となり、古典的高次ルンゲ・クッタ法と競合する収束速度を達成するとともに、補正された不確実性評価を提供する。

ABSTRACT

Probabilistic solvers for ordinary differential equations (ODEs) provide efficient quantification of numerical uncertainty associated with simulation of dynamical systems. Their convergence rates have been established by a growing body of theoretical analysis. However, these algorithms suffer from numerical instability when run at high order or with small step-sizes -- that is, exactly in the regime in which they achieve the highest accuracy. The present work proposes and examines a solution to this problem. It involves three components: accurate initialisation, a coordinate change preconditioner that makes numerical stability concerns step-size-independent, and square-root implementation. Using all three techniques enables numerical computation of probabilistic solutions of ODEs with algorithms of order up to 11, as demonstrated on a set of challenging test problems. The resulting rapid convergence is shown to be competitive to high-order, state-of-the-art, classical methods. As a consequence, a barrier between analysing probabilistic ODE solvers and applying them to interesting machine learning problems is effectively removed.

研究の動機と目的

• 非常に小さなステップサイズや高次の条件下でも、理論的収束保証が強いにもかかわらず生じる数値的不安定性を解消すること。
• 数値的安定性の障壁を取り除くことで、機械学習および科学計算分野における高次確率的ソルバの実用的導入を可能にすること。
• ベイジアン状態推定およびガウス・マルコフ過程と互換性のある、安定的で効率的かつ不確実性を考慮した数値積分フレームワークの開発。
• 確率的ソルバが、古典的高次法と競合する収束速度を達成しつつ、不確実性評価を保持できることを示すこと。

提案手法

• ステップサイズに依存しない数値的安定性を実現するため、状態空間を変換する座標変換プリコンディショナを採用する。
• 高次スキームにおける初期の数値的発散を防ぐために、事前分布の平均および共分散の高精度な初期化を実施する。
• カルマンフィルタおよびスムージングにコレスキー分解を用いた平方根実装を適用し、共分散の数値的安定性と正定値性を維持する。
• ヤコビ行列の計算にテイラー形式の自動微分を統合し、効率的なマルチステップ伝播にNordsieck型表現を適用する。
• フィルタリングおよびスムージングステップをプリコンディショニング空間で再定式化し、各更新後に元の座標系に変換することで解釈可能性を保持する。
• 特に情報更新およびジョゼフ型スムージングステップにおいて、数値的安定性を維持するため、QR分解を一貫して用いる。

実験結果

リサーチクエスチョン

• RQ1 非常に小さなステップサイズ下でも、11次までの高次確率的ODEソルバを安定して実装できるか？
• RQ2 提案されたプリコンディショニングおよび平方根実装が、ODEのガウス・マルコフ過程回帰におけるステップサイズ依存の不安定性を解消するか？
• RQ3 得られたソルバが、古典的高次ルンゲ・クッタ法と同等の収束速度を達成しつつ、補正された不確実性推定を提供できるか？
• RQ4 座標変換プリコンディショナが、数値的安定性とステップサイズの選択をどれほど分離できるか？
• RQ5 高精度な初期化、プリコンディショニング、および平方根フィルタリングの組み合わせが、剛性およびカオス的系における確率的ODEソルバのロバストネスをどの程度向上させるか？

主な発見

• 提案手法により、11次までの確率的ODE解の安定計算が可能となり、高次ソルバの実用的応用における主要な障壁を克服した。
• ロトカ・ヴォルテラ問題、三体問題、剛性のあるヴァン・デル・ポール方程式のテストを通じて、古典的高次ルンゲ・クッタ法と同等の収束速度を達成したことが実証された。
• 座標変換プリコンディショナは、数値的安定性とステップサイズの依存性を効果的に分離し、極めて小さなステップサイズ下でも安定動作を実現した。
• 平方根実装により、統合プロセス全体を通じて事後共分散が対称的かつ半正定値のままであることが保証された。
• 高精度な初期化、プリコンディショニング、および平方根フィルタリングの組み合わせにより、特にスムージングステップにおける丸め誤差の蓄積が、従来手法と比較して著しく低減された。
• 得られた確率的ソルバは、グローバル誤差を反映する補正された不確実性評価を提供し、ニューラルODEや逆問題を含む機械学習パイプラインへの応用に適している。