[論文レビュー] Importance sampling methods for Bayesian discrimination between embedded models

Jean‐Michel Marin, Christian P. Robert|ArXiv.org|Oct 13, 2009

Statistical Methods and Bayesian Inference参考文献 21被引用数 49

ひとこと要約

この論文は、ベイズ的モデル比較におけるベイズ因子の近似に用いる重要度サンプリング手法を評価し、プロビット回帰のような埋め込みモデルに焦点を当てる。粗いモンテカルロ法、重要度サンプリング、ブリッジサンプリング、調和平均、チブの手法を比較し、ピマ・インディアン糖尿病データセットでは重要度サンプリングおよびその調和平均形態が極めて効率的であることが判明した。一方、チブの手法は遅いものの、信頼性が高く、代替手段として有効である。

ABSTRACT

This paper surveys some well-established approaches on the approximation of Bayes factors used in Bayesian model choice, mostly as covered in Chen et al. (2000). Our focus here is on methods that are based on importance sampling strategies rather than variable dimension techniques like reversible jump MCMC, including: crude Monte Carlo, maximum likelihood based importance sampling, bridge and harmonic mean sampling, as well as Chib's method based on the exploitation of a functional equality. We demonstrate in this survey how these different methods can be efficiently implemented for testing the significance of a predictive variable in a probit model. Finally, we compare their performances on a real dataset.

研究の動機と目的

• ベイズ的モデル選択におけるベイズ因子の近似に用いるさまざまなモンテカルロ法の性能を評価・比較すること。
• 実世界のプロビットモデル設定において、重要度サンプリング、ブリッジサンプリング、調和平均、チブの手法の効率性と正確性を評価すること。
• 埋め込みモデルにおけるベイズ的モデル識別に最も効果的な手法の選定に関する実用的指針を提供すること。
• 内生的シミュレーション手法が、複雑な次元を越えるMCMC手法を要せずとも、ベイズ因子を効果的に計算できることを示すこと。

提案手法

• 事前分布を提案密度として用いる重要度サンプリングにより、周辺尤度を推定する。
• 標準的な重要度サンプリングよりも推定精度を向上させるために、仮想後部分布を構築することでブリッジサンプリングを適用する。
• 高分散が知られているが、ベンチマークとして調和平均推定器を用いる。
• 関数的恒等式とラオ＝ブラックウェル化されたMCMCによる後部密度の一点での推定に基づくチブの手法を用いる。
• 後部計算およびチブの近似を容易にするために、プロビットモデルの潜在変数表現を用いる。
• 各手法の変動性と性能を実証的に評価するために、100回の反復を実施したモンテカルロ実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 異なる重要度サンプリングに基づく手法は、埋め込みモデルにおけるベイズ因子の推定において、正確性と計算効率の点でどのように比較されるか？
• RQ2 ピマ・インディアン糖尿病データセットを用いたプロビットモデルの文脈において、ブリッジサンプリングと重要度サンプリングの相対的な性能はいかがなものか？
• RQ3 他の手法が失敗したり不安定になった場合、チブの手法はベイズ因子推定の信頼できる基準として機能できるか？
• RQ4 潜在変数表現の使用は、プロビットモデルにおける後部密度推定の正確性をどのように向上させるか？
• RQ5 実データセットにおいて、さまざまなモンテカルロ手法による周辺尤度の近似は、どの程度異なるか？

主な発見

• 重要度サンプリングおよびその調和平均形態が最も高い効率を示し、重要度サンプリング推定は著しく高速に計算可能であった。
• ブリッジサンプリング推定器は標準偏差が0.1357と最も高く、理論的にはより頑健であるものの、変動性が顕著に高かった。
• チブの手法は中央値としてベイズ因子推定値3.104を出力し、標準偏差が0.0195と低く、高い正確性を示したが、重要度サンプリングに比べて効率が劣った。
• 重要度サンプリング推定の標準偏差はわずか0.0017にとどまり、反復間での極めて優れた安定性を示した。
• 理論的利点があるものの、仮想後部分布の構築における近似誤差のため、ブリッジサンプリングはこの状況では性能を発揮しなかった。
• 結果から、良好な後部分布の近似が得られる場合には、重要度サンプリングが最適な選択肢となり得る。チブの手法は、信頼できる代替手段として有効である。