[論文レビュー] Approximate Bayesian Computation in State Space Models

Gael M. Martin, Brendan McCabe+2 more|arXiv (Cornell University)|Sep 30, 2014

Markov Chains and Monte Carlo Methods参考文献 59被引用数 12

ひとこと要約

本稿では、補助モデルに基づく要約統計量を用いて、状態空間モデルに対する近似ベイズ計算（ABC）手法を提案する。特に、最大尤度推定（MLE）と補助モデルのスコアを活用することで、漸近的十分統計量を達成する。主な貢献は、スコアに基づくABCによる理論的ベイズ的一致性と計算効率であり、MLEに基づくABCと同等の精度を達成しながら、各ABC反復におけるコストの高い最適化を回避する。ストキャスティック・ボラティリティ・モデルを用いた実験で、アンサテッド・カルマンフィルタ（UKF）を用いて検証された。

ABSTRACT

A new approach to inference in state space models is proposed, based on approximate Bayesian computation (ABC). ABC avoids evaluation of the likelihood function by matching observed summary statistics with statistics computed from data simulated from the true process; exact inference being feasible only if the statistics are sufficient. With finite sample sufficiency unattainable in the state space setting, we seek asymptotic sufficiency via the maximum likelihood estimator (MLE) of the parameters of an auxiliary model. We prove that this auxiliary model-based approach achieves Bayesian consistency, and that - in a precise limiting sense - the proximity to (asymptotic) sufficiency yielded by the MLE is replicated by the score. In multiple parameter settings a separate treatment of scalar parameters, based on integrated likelihood techniques, is advocated as a way of avoiding the curse of dimensionality. Some attention is given to a structure in which the state variable is driven by a continuous time process, with exact inference typically infeasible in this case as a result of intractable transitions. The ABC method is demonstrated using the unscented Kalman filter as a fast and simple way of producing an approximation in this setting, with a stochastic volatility model for financial returns used for illustration.

研究の動機と目的

• 非線形的かつ連続時間の状態空間モデルにおいて、尤度関数が解析的に得られない場合に生じるベイズ推論の困難さに対処する。
• 状態空間モデルにおける有限サンプルにおける十分統計量の欠如を克服するため、補助モデルを用いて漸近的十分統計量を追求する。
• MLEの代わりに補助モデルのスコアを用いることで、各ABC反復における最適化を回避し、計算効率の高いABCアプローチを開発する。
• 次元の呪いを緩和するためのマージナル化技術を用いて、高次元パラメータ設定におけるスコアベースABCの有効性を実証する。
• 正則性条件の下で、MLEベースとスコアベースABCの理論的一致性と同等性を確立し、真の事後分布への収束を保証する。

提案手法

• 補助モデルを用いてABCの要約統計量を生成し、補助モデルのパラメータのMLEを主な要約統計量として用いることで、漸近的十分統計量を達成する。
• MLEベースの一致をスコアベースの一致に置き換え、観測データからのMLEにおける補助モデルのスコアを評価することで、大幅な計算コスト削減を実現しつつ、同等の漸近的精度を達成する。
• 真の尤度が解析的に得られない連続時間状態空間モデルにおいて、補助モデルの尤度を近似するためにアンサテッド・カルマンフィルタ（UKF）を適用する。
• 2段階のABC手順を実装する：まず広い事前分布を用いて事後密度が高くなる領域を特定し、次に事前分布を切り詰めて再びABCを実行することで精度を向上させる。
• 高次元パラメータ空間に対処するため、統合尤度の原則を用い、パラメータをブロックごとに扱い、マージナル推論を実施することで次元の呪いに起因する不正確さを低減する。
• 標準的な準MLE正則性条件の下で、ABC手法の理論的一貫性を確立し、許容誤差がゼロに近づくにつれて真の事後分布に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 有限サンプルにおける十分統計量の欠如がある状態空間モデルにおいて、補助モデルに基づくABCはベイズ的一致性を達成できるか？
• RQ2 補助モデルのスコアはABC一致において漸近的にMLEと同等であるか？この同等性は正確に特定されたモデルおよび過剰特定モデルの両方で成立するか？
• RQ3 MLEベースABCと比較して、スコアベースABCは著しく計算コストを削減できるが、精度を損なわないか？
• RQ4 提案手法は高次元パラメータ設定においてどの程度有効か？統合尤度によるマージナル化は精度を向上させるか？
• RQ5 ストキャスティック・ボラティリティ・モデルにおいて、スコアベースABCの性能は、他のABC手法や尤度近似法（例：Euler法、AUKF）と比較してどうか？

主な発見

• 補助モデルの準MLEに関する標準的な正則性条件下で、補助モデルに基づくABC手法は理論的にベイズ的一致性を示す。
• 正定値重み行列の選択にかかわらず、補助モデルのスコアはABC一致において漸近的にMLEと同等であることが保証され、大幅な計算コスト削減が可能になる。
• 1パラメータのストキャスティック・ボラティリティ・モデルでは、ABC-Marginal Score法がρのRMSEを0.0028にまで低下させ、AUKF（0.0263）とEuler法（0.0096）のベンチマークを上回った。
• 2パラメータケース（ρとσv）では、連合スコアベースABCが全手法中最も低いRMSE（0.0054）を達成し、AUKF（0.0529）とEuler法（0.0072）の近似を著しく下回った。
• 3パラメータケースでは、連合スコアベースABCがσvについて最も低いRMSE（0.0166）を達成し、AUKF（0.0287）とEuler法（0.0242）の近似を上回った。
• マージナル化アプローチにより、2パラメータケースにおけるρのRMSEは、連合の場合の0.0054から0.0045に低下し、他のパラメータでは最小限の精度低下にとどまった。