[論文レビュー] Bayesian differential programming for robust systems identification under uncertainty

Yibo Yang, Mohamed Aziz Bhouri+1 more|arXiv (Cornell University)|Apr 15, 2020

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

この論文は、微分可能ODEソルバとハミルトニアンモンテカルロを組み合わせることで、ノイズ多発、スパース、不規則なサンプリングされたデータからも頑健にシステム同定を可能にするベイジアン微分プログラミングフレームワークを提案する。この手法により、モデルパラメータの完全な事後分布が効率的に推論可能となり、不確実性を伴った、解釈可能でシンプルな非線形力学系の同定が可能になる。

ABSTRACT

This paper presents a machine learning framework for Bayesian systems identification from noisy, sparse and irregular observations of nonlinear dynamical systems. The proposed method takes advantage of recent developments in differentiable programming to propagate gradient information through ordinary differential equation solvers and perform Bayesian inference with respect to unknown model parameters using Hamiltonian Monte Carlo. This allows us to efficiently infer posterior distributions over plausible models with quantified uncertainty, while the use of sparsity-promoting priors enables the discovery of interpretable and parsimonious representations for the underlying latent dynamics. A series of numerical studies is presented to demonstrate the effectiveness of the proposed methods including nonlinear oscillators, predator-prey systems, chaotic dynamics and systems biology. Taken all together, our findings put forth a novel, flexible and robust workflow for data-driven model discovery under uncertainty.

研究の動機と目的

• 点推定に依存する既存のデータ駆動型システム同定手法に見られる不確実性の定量化の欠如に対処する。
• 実世界の科学的応用で一般的に見られるノイズ多発、スパース、不規則な時系列データからの頑健な推論を可能にする。
• 微分可能プログラミングとスパarsity促進事前分布を組み合わせた完全なベイジアンワークフローを構築し、解釈可能でシンプルな力学的モデルを同定する。
• 不確実性を定量化した信頼性の高い将来予測を提供し、複雑なシステムにおける制御や意思決定のためのモデル信頼性を高める。
• 不完全なデータや不安定なパラメータ推定に直面する際のスパース回帰や非微分可能推論手法の限界を克服する。

提案手法

• 数値ODEソルバを介して勾配を逆伝播可能にする微分可能プログラミングを活用し、複雑な力学系における勾配ベース推論を可能にする。
• ODEソルバから得られる勾配情報を用いたハミルトニアンモンテカルロ（HMC）を採用し、モデルパラメータの高次元事後分布からの効率的サンプリングを実現する。
• スパarsity促進事前分布（例：ラプラス分布やホースシューピア）を統合し、物理的解釈可能性を保ちつつ、シンプルで解釈可能な力学的記述の獲得を促進する。
• MCMC収束を改善するためのMAP事前調整ステップを導入し、特にデータが限られた高次元または剛性の高い系において有効である。
• 不規則なサンプリングや欠損データを補完処理なしにネイティブに扱えるエンドツーエンド微分可能トレーニングをサポートする。
• 辞書学習とメカニズム的事前分布を組み合わせることで、物理的解釈可能性を保ちつつ、柔軟に支配方程式をデータから同定する。

実験結果

リサーチクエスチョン

• RQ1 微分可能プログラミングは、ノイズ多発で不規則な観測を持つ非線形力学系に対して、効率的かつスケーラブルなベイジアン推論を可能にするか？
• RQ2 スパarsity促進事前分布の導入により、同定された力学的モデルの解釈可能性と頑健性はどのように向上するか？
• RQ3 提案フレームワークは、未観測の初期条件に一般化できるか。予測における不確実性推定は信頼性があるか？
• RQ4 スパース非線形ダイナミクス同定（SINDy）などの最先端手法と比較して、本手法は頑健性と不確実性定量化の面で優れているか？
• RQ5 本手法は、剛性の高い系や極めてスパースなデータに対しても、数値的不安定性や収束不良を示さずに処理できるか？

主な発見

• ノイズ多発でスパースなデータに対しても、非線形オシレーター、捕食者-被捕食者系、およびイーストグリコリシスモデルの全パラメータの事後分布を効率的に推論できた。
• イーストグリコリシスモデルの不確実性推定値は、真のパラメータ値と強く一致しており、全パラメータにおいて中央値推定値が真値の1〜5％以内に収束した。
• 推定モデルは未観測の初期条件に対しても良好に一般化され、不確実性を定量化した予測が正確であり、外挿テストでは基準解と密接に一致した。
• スパarsity促進事前分布の使用により、最小限の項数で本質的な系の挙動を捉える、シンプルで解釈可能な力学的モデルが同定された。
• 特に高ノイズおよび低データ環境下において、SINDyなどの最先端手法よりも本手法がノイズ耐性とスパース性に優れていた。
• MAP事前調整ステップによりMCMC収束が著しく改善されたが、極めてスパースな環境下での剛性は依然として課題であり、さらなる安定化が必要である。