[論文レビュー] Importance Sampling Squared for Bayesian Inference in Latent Variable Models

Marcel Scharth, M. Pitt+1 more|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Inference参考文献 33被引用数 12

ひとこと要約

本稿では、尤度が解析的に扱いにくいが不偏に推定可能な潜在変数モデルにおけるベイズ推論のための Importance Sampling Squared (IS²) を導入する。尤度は二次的な重要度サンプリングにより推定され、理論的収束性が確立され、尤度推定の精度と事後分布の正確さのバランスを取ることで計算効率が最適化される。マルチノミアルロジットおよび確率的ボラティリティモデルにおいて有効性が示された。

ABSTRACT

We consider Bayesian inference by importance sampling when the likelihood is analytically intractable but can be unbiasedly estimated. We refer to this procedure as importance sampling squared (IS 2 ), as we can often estimate the likelihood itself by importance sampling. We provide a formal justication for importance sampling when working with an estimate of the likelihood and study its convergence properties. We analyze the eect of estimating the likelihood on the resulting inference and provide guidelines on how to set up the precision of the likelihood estimate in order to obtain an optimal tradeo between computational cost and accuracy for posterior inference on the model parameters. We illustrate the procedure in empirical applications for a generalized multinomial logit model and a stochastic volatility model. The results show that the IS 2 method can lead

研究の動機と目的

• 尤度が解析的に扱いにくいが不偏に推定可能な潜在変数モデルにおけるベイズ推論を解決すること。
• 尤度自体が推定されている状況での重要度サンプリングの使用を形式化し、有効な推論を保証すること。
• 尤度推定の下で IS² 手続きを収束させる性質を確立すること。
• 尤度推定の精度と計算コストのバランスを取るための実用的ガイドラインを提供すること。
• 一般化マルチノミアルロジットおよび確率的ボラティリティモデルにおける実応用を通じて、手法の有効性を示すこと。

提案手法

• 後方分布推定に推定された尤度を用いた重要度サンプリングを用いる Importance Sampling Squared (IS²) を提案する。
• 尤度を二次的な重要度サンプリング手順により推定し、主なサンプリング段階ではそれを確率変数として扱う。
• IS²推定量が一貫性を保ち、真の事後分布に収束する理論的条件を導出する。
• 尤度推定に使用するサンプル数の最適化フレームワークを導入し、分散と計算コストのバランスを取る。
• 効率を向上させるために、二次的な尤度推定で制御変数や分散低減技術を用いる。
• 二段階のサンプリングスキームを採用：外側のループで事後分布の近似、内側のループで尤度推定。

実験結果

リサーチクエスチョン

• RQ1 尤度関数が扱いにくいが不偏モンテカルロ法により推定可能な状況で、どのようにベイズ推論を実行できるか？
• RQ2 尤度自体が推定されている場合の重要度サンプリングの理論的収束性は何か？
• RQ3 尤度推定の精度が事後分布推定の正確さと計算コストにどのように影響するか？
• RQ4 尤度推定に使用するサンプル数と全体の計算効率との間で、最適なトレードオフは何か？
• RQ5 IS² は一般化マルチノミアルロジットや確率的ボラティリティモデルのような複雑な潜在変数モデルに効果的に適用可能か？

主な発見

• IS² 手法は、弱い正則性条件の下で、有限のサンプルで尤度を推定しても一貫した事後分布推定を達成する。
• 推定された尤度を重要度サンプリングに用いるための理論的基盤を提供し、漸近的有効性を保証する。
• 尤度推定と事後分布サンプリングの間での計算リソースの最適割り当てが、正確さを損なわずに効率を向上させる。
• 実験的結果から、一般化マルチノミアルロジットおよび確率的ボラティリティモデルの両方で、IS² は正確な事後分布推定を達成している。
• 正確な尤度法と比較して計算負荷を低減しつつ、信頼性の高い推論品質を維持する。