[論文レビュー] Derivative-Free Estimation of the Score Vector and Observed Information Matrix with Application to State-Space Models

Arnaud Doucet, Pierre Jacob+1 more|arXiv (Cornell University)|Apr 21, 2013

Target Tracking and Data Fusion in Sensor Networks参考文献 18被引用数 17

ひとこと要約

本稿では、スティンの補題を用いて、状態空間モデルにおけるスコアベクトルおよび観測情報行列の導関数フリー推定器を提案する。これにより、導関数の計算を要せず最尤推定が可能になる。この手法は人工的事前分布と逐次モンテカルロ平滑化を活用し、有限差分法および同時摂動推定器と同等の性能を達成するが、次元が高次である場合に優れたロバスト性とスケーラブルなバイアス/分散特性を示す。

ABSTRACT

Ionides, King et al. (see e.g. Inference for nonlinear dynamical systems, PNAS 103) have recently introduced an original approach to perform maximum likelihood parameter estimation in state-space models which only requires being able to simulate the latent Markov model according to its prior distribution. Their methodology relies on an approximation of the score vector for general statistical models based upon an artificial posterior distribution and bypasses the calculation of any derivative. We show here that this score estimator can be derived from a simple application of Stein's lemma and how an additional application of this lemma provides an original derivative-free estimator of the observed information matrix. We establish that these estimators exhibit robustness properties compared to finite difference estimators while their bias and variance scale as well as finite difference type estimators, including simultaneous perturbations (see e.g. Spall, IEEE Trans. on Automatic Control 37), with respect to the dimension of the parameter. For state-space models where sequential Monte Carlo computation is required, these estimators can be further improved. In this specific context, we derive original derivative-free estimators of the score vector and observed information matrix which are computed using sequential Monte Carlo approximations of smoothed additive functionals associated with a modified version of the original state-space model.

研究の動機と目的

• 尤度の導関数が計算不能となる複雑な状態空間モデルにおいて、スコアベクトルおよび観測情報行列を推定する課題に対処すること。
• 明示的な導関数計算を回避する手法を構築し、事前分布からのシミュレーションとベイズ的平均化技術にのみ依存すること。
• 有限差分法および同時摂動推定器を改善し、パrameter次元に対してロバストでスケーラブルな分散を確保すること。
• 遷移密度が計算不能なモデルにおいて、理論的裏付けがあり計算的に実行可能な最尤推定のためのアプローチを提供すること。

提案手法

• パラメータの目的の点を中心とする人工的正規事前分布を用いて、スコアベクトルの導関数フリー推定器をスティンの補題を適用して導出する。
• 2回目のスティンの補題の適用により、人工パラメータの事後分布共分散関数としての、新たな導関数フリーの観測情報行列推定器を導出する。
• パラメータ上に人工的ランダムウォークを導入することで、状態空間モデルへの推定器の適応を図る。
• 修正されたモデルにおける滑らか化加法的関数の逐次モンテカルロ近似により推定器を計算し、固定ラグ平滑化を用いて分散を低減する。
• フィルタの忘却性を活用して、期待値および共分散の固定ラグ近似を正当化し、バイアスと分散のバランスをとる。
• 遷移密度および観測密度が計算不能な場合、ブートストラップ粒子フィルタを用いて平滑化近似を実装する。

実験結果

リサーチクエスチョン

• RQ1 事前分布からのシミュレーションとベイズ的平均化技術のみを用いて、導関数の計算なしにスコアベクトルを推定できるか？
• RQ2 2次的なスティンの補題の適用により、導関数フリーで観測情報行列を推定できるか？
• RQ3 提案手法のバイアスおよび分散は、パrameter次元dに対して、有限差分法および同時摂動法と比較してどのようにスケーリングされるか？
• RQ4 尤度およびその導関数が計算不能な状態空間モデルに、逐次モンテカルロおよび平滑化を用いて推定器を適応可能か？
• RQ5 逐次モンテカルロ実装における固定ラグ近似を用いる際の、バイアスと分散のトレードオフはいかなるものか？

主な発見

• スティンの補題を用いて導出したスコアベクトル推定器は、Ionidesらが提案したものと同等であるが、より洗練された理論的基盤を有する。
• 人工パラメータの事後分布共分散を用いた関数として、新たな導関数フリーの観測情報行列推定器が導出された。
• 推定器のバイアスおよび分散は、パrameter次元dに関して、同時摂動推定器と同様にスケーリングされる。
• 特に高次元設定において、有限差分法および同時摂動推定器に比べて優れたロバスト性を示す。
• 状態空間モデルにおいて、提案手法の推定器は、修正モデルにおける滑らか化関数の逐次モンテカルロ近似により実装され、固定ラグ平滑化が分散低減に寄与する。
• 正則性条件（最適フィルタの指数的エルゴード性など）の下で、バイアスおよびLp誤差に対する定量的バウンドを導出可能であり、固定ラグ近似の妥当性が裏付けられる。