[論文レビュー] Model comparison with missing data using MCMC and importance sampling

Panayiota Touloupou, Naif Alzahrani+3 more|arXiv (Cornell University)|Dec 15, 2015

Bayesian Methods and Mixture Models参考文献 24被引用数 3

ひとこと要約

本稿では、ベイズ的モデル比較における周辺尤度の推定に、ハイブリッドMCMC-重要度サンプリング手法を用いた計算的に効率的な手法を提案する。MCMCサンプルと、事後分布のパラメトリック近似に基づく重要度サンプリング推定器を組み合わせることで、疫学的データおよび時系列データにおいて、Chib法、パワー事後分布、調和平均推定器といった既存手法を上回る性能を発揮し、逆遷移MCMCが不適切となる非ネストモデルに対しても、堅牢なモデル選択を可能にする。

ABSTRACT

Selecting between competing statistical models is a challenging problem especially when the competing models are non-nested. In this paper we offer a simple solution by devising an algorithm which combines MCMC and importance sampling to obtain computationally efficient estimates of the marginal likelihood which can then be used to compare the models. The algorithm is successfully applied to longitudinal epidemic and time series data sets and shown to outperform existing methods for computing the marginal likelihood.

研究の動機と目的

• 非ネストモデルであり、逆遷移MCMCが不適切となる状況におけるベイズ統計的モデル比較の課題に対処すること。
• 解析的計算が困難な状況においても、計算的に効率的かつ頑健な周辺尤度推定手法の開発。
• 欠損または不完全な観察を伴う複雑な縦断的および時系列データに対して、正確なベイズ因子推定を可能とすること。
• MCMC、事後分布の近似、重要度サンプリングを統合した実用的で自動化されたアルゴリズムを提供すること。

提案手法

• 本手法は、モデルのパrameter空間から事後分布サンプルをMCMCを用いて生成し、真の事後分布をパラメトリック密度 q(θ) で近似する。
• q(θ) からのサンプルを用いて、π(θ)/q(θ) の比から得られる重みを用いた重要度サンプリング推定器を構築し、周辺尤度 π(x) を推定する。
• 主な推定器は ˆPq = (1/N) Σ π(x|θi) π(θi)/q(θi) で与えられ、θi は q(θ) から抽出される。この式により、π(x) の不偏推定が保証される。
• 本手法は、時系列および縦断的データに対して特に有効であり、解析的表現が得られない場合でも、フィルタリング手法を活用して π(x|θ) を計算可能にする。
• 重要度サンプリングの評価は独立であるため、並列化可能であり、スケーラブルな計算が可能である。
• モデル間の構造的差異がある場合でも、事後分布を一貫して近似する提案分布 q(θ) を用いることで、逆遷移MCMCの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 欠損データや非ネストモデルが存在する状況において、ハイブリッドMCMC-重要度サンプリング手法が、既存手法よりもより正確かつ効率的な周辺尤度推定を可能にするか。
• RQ2 本手法は、時系列および疫学的データにおいて、Chib法、パワー事後分布、調和平均推定器と比較して、性能にどの程度優れているか。
• RQ3 競合モデル間に構造的差異があるために逆遷移MCMCが不適切となる状況において、本手法がどの程度モデル選択を支援できるか。
• RQ4 本手法は、季節的トレンドや低カウント時系列といった複雑な依存構造を有する実世界の縦断的データに対しても、効果的に適用可能か。

主な発見

• 提案手法は、複数の疫学的および時系列データセットにおいて、Chib法、パワー事後分布、調和平均推定器を著しく上回る周辺尤度推定性能を発揮した。
• 肺炎球菌感染伝播データでは、季節的共変量を含むモデルの対数周辺尤度が -263.13 であり、RJMCMCに比べてより狭いベイズ因子推定が得られた。
• 切断怪我データでは、季節的共変量を含むINAR(1)モデルの対数周辺尤度は -286.0 であり、標準的なINAR(1)モデルの -298.3 よりも著しく優れていた。
• 季節的共変量を含むINAR(1)モデルと標準INAR(1)モデルとの間のベイズ因子は2984であり、季節的要因を含むモデルが強く支持された。
• 事後分布推定では、λ（感染強度）が季節によって顕著に変動するのに対し、α（持続性）は比較的安定しており、季節的伝播パターンの支持が得られた。
• 本手法は、モデル間の構造的差異によりRJMCMCが失敗する状況でも、頑健性と計算効率を示した。