[論文レビュー] Parameter and Uncertainty Estimation for Dynamical Systems Using Surrogate Stochastic Processes

Matthias Chung, Mickaël Binois+4 more|arXiv (Cornell University)|Feb 2, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用数 3

ひとこと要約

本稿では、観測データに事前にスチュアティックプロセスをフィットさせ、そのプロセスからのサンプルを「サーロゲートデータ」として用いることで、動的システムにおけるパラメータおよび不確実性推定のための新しいベイジアンフレームワークを提案する。この手法により、正則化を組み込んだ堅牢で並列処理可能な推論が可能となり、打ち切りや不均一分散といった複雑なデータ特徴に対応できる。MCMCに依存せずに集中した事後分布が得られる。

ABSTRACT

Inference on unknown quantities in dynamical systems via observational data is essential for providing meaningful insight, furnishing accurate predictions, enabling robust control, and establishing appropriate designs for future experiments. Merging mathematical theory with empirical measurements in a statistically coherent way is critical and challenges abound, e.g.,: ill-posedness of the parameter estimation problem, proper regularization and incorporation of prior knowledge, and computational limitations on full uncertainty qualification. To address these issues, we propose a new method for learning parameterized dynamical systems from data. In many ways, our proposal turns the canonical framework on its head. We first fit a surrogate stochastic process to observational data, enforcing prior knowledge (e.g., smoothness), and coping with challenging data features like heteroskedasticity, heavy tails and censoring. Then, samples of the stochastic process are used as "surrogate data" and point estimates are computed via ordinary point estimation methods in a modular fashion. An attractive feature of this approach is that it is fully Bayesian and simultaneously parallelizable. We demonstrate the advantages of our new approach on a predator prey simulation study and on a real world application involving within-host influenza virus infection data paired with a viral kinetic model.

研究の動機と目的

• ノイズ、打ち切り、不均一分散のデータによる動的システムにおけるパラメータ推定の不適切さを解消する。
• ODEモデルにおけるMCMCベースのベイジアン推論の計算的ボトル neck を克服し、容易に並列化可能な計算を可能にする。
• 滑らかさ、単調性などの事前知識をサーロゲートプロセスに直接組み込み、推定の安定性と解釈可能性を向上させる。
• MCMCの逐次的依存性と高コストを回避しながら、大規模または中規模のデータ設定において完全な不確実性の定量的評価を提供する。
• 実際のインフルエンザデータ（検出限界や複雑なダイナミクスを有する）を用いたウイルス動態モデルにおいて、本手法の有効性を示す。

提案手法

• 滑らかさや単調性などの事前知識をカーネル設計と制約付きサンプリングによって反映させながら、観測データにガウス過程（または他の確率過程）をフィットさせる。
• サーロゲートプロセスの事後予測分布から複数のサンプル経路を生成し、合成的な「サーロゲートデータ」セットを生成する。
• 各サーロゲートデータセットを独立した観測値として扱い、標準的な最小二乗法や点推定法を用いて動的モデルをフィットさせる。
• すべてのサーロゲートサンプルに対して得られたパラメータ推定値を集約し、モデルパラメータ上の事後分布を形成することで、完全な不確実性の定量的評価を実現する。
• モデルフィッティング段階に渡す前に、サーロゲートプロセス実現値に対して制約（例：単調性）を満たすために再試 Sampling を実施する。
• この手法のモジュラー構造を活用し、サーロゲートサンプルごとのパラメータ推定を完全に並列化することで、MCMCの逐次的依存性を回避する。

実験結果

リサーチクエスチョン

• RQ1 サーロゲート確率過程を用いることで、不適切な動的システム推論問題を適切で正則化された推定問題に変換できるか？
• RQ2 滑らかさ、単調性などの事前知識を、サーロゲートプロセスに自然に組み込む方法は何か？ その結果、パラメータ推定の安定性がどのように向上するか？
• RQ3 本手法は、現実の生物学的データにおける打ち切り、不均一分散、重い尾を持つ誤差といった複雑なデータ特徴をどの程度適切に処理できるか？
• RQ4 本手法は、MCMCベースのベイジアンキャリブレーションと同等またはそれ以上の不確実性の定量的評価を達成できるか？ さらに、完全に並列処理可能であるか？
• RQ5 生物学的制約（例：ウイルスの消失）が既知である状況において、本手法は標準的な補完法や切り捨て処理よりも優れた性能を示せるか？

主な発見

• サーロゲートプロセス手法により、生物学的制約（例：ウイルス減少の単調性）を満たすパラメータ推定が得られた。一方、標準的な打ち切り処理ではこの制約が破られていた。
• 本手法はパラメータ上に集中した事後分布を生成し、特に回復速度（c）と感染速度（ρ）の間の強い相関が、事前の生物学的知見と整合的であった。
• サーロゲートプロセス実現値に対して単調性を再試 Sampling で強制することで、観測データを超えてウイルスの遅延的消失を示唆する物理的に不適切な軌道を回避できた。
• 繰り返しの事後探索を必要としない決定論的最適化をサーロゲートデータ上で実行することで、MCMCの立方体オーダーの計算コストを回避した。
• 検出限界などのデータ欠損に対しても頑健であり、単純な補完法や切り捨て処理よりも、より正確で生物学的に妥当なモデルフィットを実現した。
• MCMCに依存せずに完全なベイジアン不確実性の定量的評価を可能にした。大規模または複雑な動的システムに適したスケーラブルな代替手法を提供した。