[論文レビュー] Bayesian Inference for State Space Models using Block and Correlated Pseudo Marginal Methods

Praveen B. Choppala, David Gunawan+3 more|arXiv (Cornell University)|Dec 21, 2016

Statistical Methods and Bayesian Inference参考文献 21被引用数 14

ひとこと要約

本稿では、状態遷移密度が解析的に求められないか、高次元である場合に効率を向上させるために、状態空間ではなく誤差空間で動作する相関付き擬似周辺度（CPM）手法を提案する。さらに、ブロック化された乱数を用いた並列パーティクルフィルタを導入したブロック擬似周辺度（BPM）手法を提案し、金融時系列データの応用において、標準PMに比べて最大1540倍、誤差CPMに比べて57倍の高い効率を達成した。

ABSTRACT

This article addresses the problem of efficient Bayesian inference in dynamic systems using particle methods and makes a number of contributions. First, we develop a correlated pseudo-marginal (CPM) approach for Bayesian inference in state space (SS) models that is based on filtering the disturbances, rather than the states. This approach is useful when the state transition density is intractable or inefficient to compute, and also when the dimension of the disturbance is lower than the dimension of the state. Second, we propose a block pseudo-marginal (BPM) method that uses as the estimate of the likelihood the average of G independent unbiased estimates of the likelihood. We associate a set of underlying uniform of standard normal random numbers used to construct each of the individual unbiased likelihood estimates and then use component-wise Markov Chain Monte Carlo to update the parameter vector jointly with one set of these random numbers at a time. This induces a correlation of approximately 1-1/G between the logs of the estimated likelihood at the proposed and current values of the model parameters. Third, we show for some non-stationary state space models that the BPM approach is much more efficient than the CPM approach, because it is difficult to translate the high correlation in the underlying random numbers to high correlation between the logs of the likelihood estimates. Although our focus has been on applying the BPM method to state space models, our results and approach can be used in a wide range of applications of the PM method, such as panel data models, subsampling problems and approximate Bayesian computation.

研究の動機と目的

• 状態遷移密度が解析的に求められない、あるいは計算コストの高い状態空間モデルにおけるベイズ推論の効率を向上させること。
• 標準的なパーティクルMCMC手法の高い計算コストを低減し、安定した混合を達成するために必要なパーティクル数を削減すること。
• 複数のプロセッサを活用するため、乱数をブロック化し、パラメータをブロックごとの乱数とともに同時に更新する手法を開発すること。
• 次元数が低く、フィルタリングがより効率的な誤差空間に、相関付き擬似周辺度手法を拡張すること。
• BPM手法が標準PMおよびCPMに比べて、有効サンプルサイズと計算時間の両面で優れた性能を示すことを実証すること。

提案手法

• CPM手法は、状態空間ではなく誤差空間において、尤度推定値の相関を維持することで、対数尤度推定値の相関を保つ。
• BPM手法は、G個の独立なパーティクルフィルタ推定値の平均として尤度を推定し、それぞれが独立同一分布の均一分布または正規乱数のブロックを用いる。
• 各MCMC反復では、パラメータと1つの乱数ブロックを同時に更新し、対数尤度推定値間に約1 - 1/Gの相関を誘導する。
• 成分ごとのMCMCを用いて、パラメータと1つの乱数ブロックを順次更新することで、混合を向上させ、受容率の分散を低減する。
• BPMフレームワークは、複数プロセッサ間で並列実行を可能とし、尤度推定値は独立に計算され、その後平均化される。
• 勾配に基づく提案分布を組み込むことで、さらに混合効率を向上させ、統合自己相関時間（IACT）を短縮する。

実験結果

リサーチクエスチョン

• RQ1 状態遷移密度が解析的に求められない場合に、誤差ベースの状態空間モデルに相関付き擬似周辺度手法を効果的に適用することで、混合効率が向上するか？
• RQ2 パーティクルフィルタによる尤度推定において、乱数をブロック化することで、対数尤度推定値の分散が低減し、MCMCの効率が向上するか？
• RQ3 ブロック擬似周辺度手法は、標準PMおよび相関付き擬似周辺度手法に比べて、計算コストと有効サンプルサイズの観点でどのように異なるか？
• RQ4 次元数が高く、非定常的な時系列モデルにおいて、尤度が解析的に求められない場合に、BPM手法が顕著な効率向上を達成できるか？
• RQ5 提案分布に勾配情報を利用することで、BPM手法の性能にどのような影響を与えるか？

主な発見

• All Ordinariesデータセット（T=3564）において、BPM手法は標準PMに比べて約1540倍、誤差CPMに比べて57倍の高い効率を達成し、相対的時間正規化分散（RTNV）は0.0006であった。
• S&P 500データセット（T=7832）では、BPM手法は誤差CPMに比べて約280倍、標準PMに比べて100倍の高い効率を示し、RTNVは0.0036であった。
• 勾配に基づく提案を用いたBPM手法では、ボラティリティパラメータの統合自己相関時間（IACT）が、ARW提案と比較して5.1451にまで低下した（ARW提案では16.3）。
• BPMでは尤度推定値の分散が1.6前後を維持しており、誤差CPMで観察された10.6833よりも顕著に低く、混合が良好であることを示している。
• BPMでは対数尤度推定値間の相関（ρl）が0.9167に達しており、提案された尤度値と現在の尤度値の間で強い相関が確認された。
• All Ordinariesデータセットでは、BPM手法はCPMに比べて100パーティクルで十分な性能を達成したのに対し、CPMでは230パーティクルを必要としており、同等の性能を達成するためのパーティクル数が大幅に削減された。