[論文レビュー] Bayesian estimation in differential equation models

Prithwish Bhaumik, Subhashis Ghosal|arXiv (Cornell University)|Mar 3, 2014

Control Systems and Identification参考文献 15被引用数 5

ひとこと要約

本稿では、ノイズが混在する多次元データを用いた常微分方程式（ODE）モデルにおけるパラメータのベイズ的2段階推定手法を提案する。Bスプライン基底関数を用いて平均関数を非パラメトリックに推定する。回帰関数の事後分布の収束速度が $ n^{-1/2} $ より遅いにもかかわらず、パラメータ $ \bm{\theta} $ の推定は $ n^{-1/2} $ の速度を達成しており、ベルンシュタイン＝フォン・ミーゼスの定理が確立され、$ \bm{\theta} $ の事後分布の漸近的正規性が確認されている。

ABSTRACT

Ordinary differential equations (ODEs) are used to model dynamic systems appearing in engineering, physics, biomedical sciences and many other fields. These equations contain unknown parameters, say $θ$ of physical significance which have to be estimated from the noisy data. Often there is no closed form analytic solution of the equations and hence we cannot use the usual non-linear least squares technique to estimate the unknown parameters. There is a two step approach to solve this problem, where the first step involves fitting the data nonparametrically. In the second step the parameter is estimated by minimizing the distance between the nonparametrically estimated derivative and the derivative suggested by the system of ODEs. The statistical aspects of this approach have been studied under the frequentist framework. We consider this two step estimation under the Bayesian framework. The response variable is allowed to be multidimensional and the true mean function of it is not assumed to be in the model. We induce a prior on the regression function using a random series based on the B-spline basis functions. We establish the Bernstein-von Mises theorem for the posterior distribution of the parameter of interest. Interestingly, even though the posterior distribution of the regression function based on splines converges at a rate slower than $n^{-1/2}$, the parameter vector $θ$ is nevertheless estimated at $n^{-1/2}$ rate.

研究の動機と目的

• 閉形式解が得られないODEモデルにおけるパラメータ推定のためのベイズ的フレームワークの構築を目的とする。
• 真の平均関数がモデル空間に含まれないことを仮定しない状況でのODEパラメータ推定の課題に対処することを目的とする。
• ベイズ非パラメトリックアプローチのもとで、頻度的推定の漸近的性質（特にベルンシュタイン＝フォン・ミーゼスの定理）を確立することを目的とする。
• 非パラメトリック回帰関数の収束が遅い場合でも、関心のあるパラメータ $ \bm{\theta} $ が最適な $ n^{-1/2} $ の収束速度を達成することを示すこと。
• 初期パラメータ値に依存する従来の非線形最小二乗法や反復的手法に代わる計算的に効率的な代替手法を提供すること。

提案手法

• 応答を、ODE系 $ \frac{d\bm{f}_{\bm{\theta}}(t)}{dt} = \bm{F}(t, \bm{f}_{\bm{\theta}}(t), \bm{\theta}) $ を満たす多次元関数 $ \bm{f}_{\bm{\theta}}(t) $ としてモデル化する。
• 次数 $ m $ のBスプライン基底関数と $ k_n $ 個のノットを用いたランダム系列展開に基づいて、回帰関数 $ \bm{f}_{\bm{\theta}} $ に事前分布を導入する。
• 誤差分散 $ \sigma^2 $ を未知とみなして、階層的事前分布のもとでBスプライン展開の係数を事後計算により推定する。
• 2段階のベイズ的手順を採用する：まず、Bスプライン回帰により平均関数を非パラメトリックに推定する。次に、スプラインフィットの微分とODEが示唆する微分との乖離を最小化することで $ \bm{\theta} $ を推定する。
• ベルンシュタイン＝フォン・ミーゼスの定理を適用し、$ \bm{\theta} $ の事後分布が真のパラメータ値に収束する正規分布に漸近的に近づくことを示す。
• 事後分布の正規分布への収束を、全 Variation 距離を用いて、真のパラメータを中心とする正規分布と比較して定量化する。

実験結果

リサーチクエスチョン

• RQ1 真の平均関数がモデル空間に含まれない場合に、ベイズ非パラメトリックアプローチがODEモデルにおけるパラメータ $ \bm{\theta} $ に対して $ n^{-1/2} $ の収束速度を達成できるか。
• RQ2 回帰関数の推定が遅いにもかかわらず、$ \bm{\theta} $ の事後分布がベルンシュタイン＝フォン・ミーゼスの定理を満たすか。
• RQ3 ランダム系列事前分布を用いたBスプライン基底関数の使用が、パラメータ $ \bm{\theta} $ の事後集中度と漸近的正規性に与える影響は何か。
• RQ4 2段階のベイズ的手順は、従来の非線形最小二乗法や反復的ODEソルバーが抱える初期パラメータ値への感度を回避できるか。
• RQ5 （真の平均関数がモデル空間に含まれないという）モデルの不適合性が、$ \bm{\theta} $ の事後分布の漸近的挙動に与える影響は何か。

主な発見

• パラメータベクトル $ \bm{\theta} $ の事後分布は、回帰関数の事後分布がより遅い収束速度を示すにもかかわらず、$ n^{-1/2} $ の収束速度を達成している。
• ベルンシュタイン＝フォン・ミーゼスの定理が $ \bm{\theta} $ の事後分布に成立しており、事後分布が漸近的に正規的で、真のパラメータ値を中心に分布することを示している。
• 平均関数の非パラメトリック推定が遅いにもかかわらず、$ \bm{\theta} $ の事後集中度は低下せず、2段階のベイズ的手法のロバストネスが示された。
• 真の平均関数がモデル空間に含まれる必要がないため、より広範なODEモデルのクラスに適用可能である。
• シミュレーションスタディにより理論的結果が確認され、有限標本でも良好な性能を示し、モデルの不適合性に対してもロバストであることが示された。
• 従来の非線形最小二乗法とは異なり、ODEの反復的解法や初期値依存性を回避する計算的に効率的な手法である。