[論文レビュー] Fast Gaussian Process Based Gradient Matching for Parameter Identification in Systems of Nonlinear ODEs

Philippe Wenk, Alkis Gotovos+4 more|arXiv (Cornell University)|Apr 12, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用数 12

ひとこと要約

本稿では、非線形ODE系におけるパrameter同定のための新しいベイズ推論手法であるFast Gaussian Process-based Gradient Matching (FGPGM) を提案する。理論的に欠陥のあるproduct of experts (PoE)ヒューリスティックの代わりに整合的な確率的定式化を採用し、変分推論と逐次的ハイパーパrameter最適化を統合することで、最先端手法と比較して35%の高速化、最大62%のRMSE低減、および滑らかさバイアスの低減を達成した。また、MCMCサンプリングの簡素化とより高いロバスト性を実現した。

ABSTRACT

Parameter identification and comparison of dynamical systems is a challenging task in many fields. Bayesian approaches based on Gaussian process regression over time-series data have been successfully applied to infer the parameters of a dynamical system without explicitly solving it. While the benefits in computational cost are well established, a rigorous mathematical framework has been missing. We offer a novel interpretation which leads to a better understanding and improvements in state-of-the-art performance in terms of accuracy for nonlinear dynamical systems.

研究の動機と目的

• 非線形ODEにおけるガウス過程ベースの勾配マッチングに広く用いられるproduct of experts (PoE) ヒューリスティックに内在する理論的不整合を解消すること。
• 既存手法における変分推論がMCMCよりも驚くほど優れた性能を示す理由を説明すること。
• 非線形動的システムにおけるパrameter同定のための、より正確でロバストかつ計算的に効率的なアルゴリズムの開発。
• GPベースの勾配マッチングに内在する滑らかさバイアスを、モデルフレームワークの改善によって低減すること。

提案手法

• 理論的根拠のある確率的定式化に、理論的に欠陥のあるproduct of experts (PoE) ヒューリスティックを置き換え、GPから得られる微分とODE予測微分を適切に組み合わせる。
• ハイパーパrameterの逐次最適化と、1チェーンのメトロポリス・ハスティングス法を用いた事後分布からのサンプリングを統合した共同推論スキームを導入。
• 状態およびパラメータの事後分布を近似するために変分推論を採用し、MCMCベースの代替手法よりも高速な計算を実現。
• FHNニューロンモデルのようなスパイク的で非線形な動的特性をよりよく捉えるために、Matérn-5/2カーネルを用いる。
• 従来手法で使用される複雑で説明が難しいハイパーパラメータ事前分布を回避する階層的事前分布構造を採用。
• ハイパーパラメータの逐次フィッティング手順を採用することで、推論プロセスの安定化と病理的となる事後密度行動の回避を実現。

実験結果

リサーチクエスチョン

• RQ1 なぜproduct of experts (PoE) ヒューリスティックは、ODEにおけるガウス過程ベースの勾配マッチングにおいて理論的不整合を引き起こすのか？
• RQ2 既存のGPベースのODEパラメータ推定において、変分推論がMCMCを上回る優れた実験的性能を示す理由は何か？
• RQ3 非線形ODE系のための理論的に整合的で、計算的に効率的かつロバストなPoEの代替手法を開発可能か？
• RQ4 提案手法は、FHNニューロンモデルのようなスパイク的動的特性において、滑らかさバイアスをどのように低減するのか？

主な発見

• FGPGMは、最先端のAGM手法と比較して、約35%の実行時間短縮を達成しながら、精度を維持または向上させた。
• 高ノイズのLotka-Volterra系において、FGPGMはAGMと比較して中央値の状態RMSEを62%低減し、MVGMと比較しても31%低減した。
• 非線形タンパク質トランスダクション系において、FGPGMはRおよびRppの状態推定の分散を少なくとも1桁以上低減し、バイアスを30%以上削減した。
• 特にFHNニューロンモデルのようなスパイク的動的特性において、FGPGMは滑らかさバイアスを顕著に低減し、観測数が少ない場合（例：10観測）でも優れた忠実度を示した。
• MCMCベースの手法と比較して、より高い精度とロバスト性を達成した一方で、チューニングが簡単な1チェーンのメトロポリス・ハスティングスサンプリングを採用した。
• 提案フレームワークは、複雑で説明が難しいハイパーパラメータ事前分布の必要性を回避し、従来のマルチチェーンMCMC設定で見られた病理的となる事後密度問題を解消した。