[論文レビュー] A Probabilistic State Space Model for Joint Inference from Differential Equations and Data

Jonathan Schmidt, Nicholas Krämer+1 more|arXiv (Cornell University)|Mar 18, 2021

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本論文は、拡張カルマンフィルタ／スムージングの1回の前向きパスによって、常微分方程式（ODE）の解と未知の時変潜在力（例：SIRDモデルにおける接触率）の両方に対する統合的ベイズ推論を可能にする確率的状態空間モデルを提案する。確率的ODEソルバと潜在力モデルをベイズフィルタリングによって統合することで、線形計算量を達成し、データ、数値誤差、モデル構造からの不確実性を正確に捉えることが、実際の新型コロナウイルス感染症データを用いて示された。

ABSTRACT

Mechanistic models with differential equations are a key component of scientific applications of machine learning. Inference in such models is usually computationally demanding, because it involves repeatedly solving the differential equation. The main problem here is that the numerical solver is hard to combine with standard inference techniques. Recent work in probabilistic numerics has developed a new class of solvers for ordinary differential equations (ODEs) that phrase the solution process directly in terms of Bayesian filtering. We here show that this allows such methods to be combined very directly, with conceptual and numerical ease, with latent force models in the ODE itself. It then becomes possible to perform approximate Bayesian inference on the latent force as well as the ODE solution in a single, linear complexity pass of an extended Kalman filter / smoother - that is, at the cost of computing a single ODE solution. We demonstrate the expressiveness and performance of the algorithm by training, among others, a non-parametric SIRD model on data from the COVID-19 outbreak.

研究の動機と目的

• ODEの解とODEダイナミクスを支配する潜在力の両方に対する計算効率の良い同時推論手法の開発。
• MCMC や最適化ループなどの標準的な推論パイプラインにおける反復的ODE解法の高コストを克服すること。
• ODEによる機械的知識と観測データを、単一のベイズフィルタリングおよびスムージングフレームワーク内で統合すること。
• 観測データ、数値離散化誤差、および潜在力におけるエピステミック不確実性の3つの源からの不確実性の定量化を可能にすること。
• 実世界の疫学的データ、特に予測外挙と政策影響モデリングを含めて、手法の表現力と効率性を実証すること。

提案手法

• ODEの解と潜在力が、非マルコフ型事前分布を持つガウス過程として表現される連合状態空間プロセスとしてモデル化される。
• ODE統合をベイズフィルタリング問題として扱う確率的ODEソルバを、拡張カルマンフィルタとしてフレームワーク化する。
• 潜在力は非パラメトリック関数としてODEのベクトル場に組み込まれ、そのダイナミクスは基底関数と状態ベクトルを用いた状態空間表現でモデル化される。
• 観測値は、ODE状態のノイズ付きi.i.d.ガウス測定としてモデル化され、SIRDモデルにおける数の正の性を保証するため、対数変換が施される。
• ODEの解と潜在力の連合事後分布は、反復的前向きシミュレーションを回避するため、拡張カルマンスムージングの1回の前向きパスによって計算される。
• 確率的ODEソルバと潜在力推論が、単一のベイズフィルタリングフレームワーク内で統合可能であるという事実を活用し、線形時間の推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 確率的ODEソルバと非パラメトリック潜在力モデルを、統一されたベイズ推論フレームワーク内でスムーズに統合できるか？
• RQ2 拡張カルマンフィルタ／スムージングの1回の前向きパスによって、線形計算コストでODEの解と潜在力の両方に対する正確な同時推論が可能か？
• RQ3 特にデータが少ない状況下でも、観測データ、数値誤差、および潜在力におけるエピステミック不確実性からの不確実性を、どの程度正確に捉えることができるか？
• RQ4 本手法は、感染症モデルにおける時変接触率を再構築でき、政策変更下でも現実的な予測外挙を生成できるか？
• RQ5 MCMC や最適化ベースのアプローチといった標準的な反復的推論手法と比較して、精度と効率性の点でどのように差がつくか？

主な発見

• 本手法は、ODEを1回解くのと同等の計算量で、ODEの解と潜在力の両方に対する同時推論を達成し、反復的アプローチと比較して大幅にコストを削減した。
• 感染症数の対数空間変換により、接触率の事後信用区間は厳密に正の範囲に保たれ、物理的整合性が確保された。
• 感染症数が少ない地域では、推論された接触率の不確実性が増大し、データの希少性を反映している一方、政府の厳格な措置がとられた時期には不確実性が低下し、信頼性の高い推定が得られている。
• 再構築されたダイナミクスは観測データ点と密接に一致しており、推論された接触率の平均値は、異なるモデル設定を用いた以前の実験からの推定値とよく一致している。
• 線形空間モデルと比較して、対数正規ノイズモデルにより負の感染者数を防ぎ、現実のデータに内在する不確実性を反映するため、予測外挙結果がより現実的である。
• SIRDモデルの応用事例を通じて、観測ノイズ、数値離散化誤差、および潜在力におけるエピステミック不確実性という、複数の不確実性源を忠実に捉えていることが示された。