[論文レビュー] On the existence of moments for high dimensional importance sampling

M. Pitt, Minh‐Ngoc Tran+2 more|arXiv (Cornell University)|Jul 30, 2013

Statistical Methods and Inference参考文献 23被引用数 4

ひとこと要約

本稿は、特に信頼性の高い推定に不可欠な2次のモーメントの存在に関する条件を、ガウス型提案分布を用いた高次元の重要度サンプリングにおいて確立する。また、重要度重みの分散が有限であることを保証する、頑健な2成分混合提案分布を導入し、一般化線形混合モデルや状態空間モデルなどのモデルにおいてMCMCの効率を顕著に向上させる。実験的結果では、サンプリング効率が最大で1.5倍向上した。

ABSTRACT

Theoretical results for importance sampling rely on the existence of certain moments of the importance weights, which are the ratios between the proposal and target densities. In particular, a finite variance ensures square root convergence and asymptotic normality of the importance sampling estimate, and can be important for the reliability of the method in practice. We derive conditions for the existence of any required moments of the weights for Gaussian proposals and show that these conditions are almost necessary and sufficient for a wide range of models with latent Gaussian components. Important examples are time series and panel data models with measurement densities which belong to the exponential family. We introduce practical and simple methods for checking and imposing the conditions for the existence of the desired moments. We develop a two component mixture proposal that allows us to flexibly adapt a given proposal density into a robust importance density. These methods are illustrated on a wide range of models including generalized linear mixed models, non-Gaussian nonlinear state space models and panel data models with autoregressive random effects.

研究の動機と目的

• 高次元設定における重要度重みのモーメント（特に2次モーメント）の存在に関する理論的条件を確立すること。
• 潜在ガウス型成分を含むモデルにおいて、重要度重みの有限分散をチェックおよび強制するための実用的で計算可能なかつての方法を開発すること。
• モーメント条件を満たしつつも、サンプリング効率を維持する柔軟で頑健な混合提案分布を設計すること。
• 尤度が解析的に求められないモデルにおける、シミュレーテッド最尤法およびベイズ型MCMC推論の信頼性と効率を向上させること。
• 非線形的かつ非ガウス型の状態空間モデルおよびランダム効果を含むパネルデータモデルにおける、本手法の有効性を示すこと。

提案手法

• ガウス型提案分布下での重要度重みの任意のモーメントの存在に関する必要十分条件を、対数尤度の曲率および尾部挙動に基づいて導出する。
• 2成分混合提案分布を導入：モーメント条件を満たすように変更されたガウス密度と、一般の提案密度の組み合わせ。
• 多次元正規priorの精度行列の再パラメータライゼーションを変換により行い、効率的なMCMCサンプリングを可能にする。
• 状態空間モデルにおける重要度サンプリングのベースラインとしてShephardとPitt（1997）のアルゴリズムを適用し、その後、分散が有限になるように変更する。
• 後方分布のサンプリングに適応的ランダムウォークメトロポリス・ハスティングス法を用い、尤度はモーメント制御付きの提案分布を用いた重要度サンプリングで推定する。
• MCMC効率の評価に、統合自己相関時間（IACT）や受容率といった診断指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元の潜在変数モデルにおいて、ガウス型提案分布を用いた場合、重要度重みの2次モーメントが存在する条件は何か？
• RQ2 複雑なモデルにおいて、重要度重みの有限モーメントの存在を実用的に検証または強制する方法は何か？
• RQ3 変更されたガウス分布と他の提案密度の混合は、分散が有限であると同時に、サンプリング効率を維持できるか？
• RQ4 モーメント条件を強制することで、潜在ガウス型モデルにおけるベイズ推論のMCMC収束性と効率にどのような影響を与えるか？
• RQ5 標準的である重要度サンプリングと比較して、本手法のロバスト性と計算コストはどのように異なるか？

主な発見

• 提案された混合重要度サンプリング法により、重要度重みの2次モーメントが有限に保証され、これは漸近正規性と信頼性の高い推論に不可欠である。
• 自己回帰的ランダム効果を含むポissonパネルデータモデルでは、有限分散条件を課した結果、IACTが29.2から19.6に低下し、MCMCの効率が約1.5倍向上した。
• モーメント条件を課した際、受容率は18.8%から22.3%に上昇し、MCMCサンプラーの混合性が向上したことが示された。
• 本手法は、重い尾部を持つ重みのため通常失敗するShephardとPitt（1997）のアルゴリズムにおける無限分散問題を効果的に解決した。
• 1MCMCステップあたりの計算コストはわずかに増加（0.058秒から0.079秒）したが、得られる効率の向上がそのオーバーヘッドを補って余りある。
• 本手法は、一般化線形混合モデルや非線形状態空間モデルを含む、潜在ガウス型成分を有するモデルに広く適用可能である。