[論文レビュー] Inferences in Bayesian variable selection problems with large model spaces

Gonzalo García‐Donato, Miguel A. Martínez‐Beneito|arXiv (Cornell University)|Jan 23, 2011

Bayesian Methods and Mixture Models参考文献 19被引用数 5

ひとこと要約

この論文は、高次元変数選択問題において、MCMCサンプリングを用いた経験ベイズ推論が再正規化手法を上回ることを主張している。頻度ベースの推定器は包含確率に対して不偏であり、より高い精度を持つことが示されている。35変数のデータセットを正確に計算することで、著者たちは再正規化手法とは対照的に、経験的手法が優れた推定をもたらすことを示している。再正規化手法は強くバイアスを生じる可能性がある。

ABSTRACT

An important aspect of Bayesian model selection is how to deal with huge model spaces, since exhaustive enumeration of all the models entertained is unfeasible and inferences have to be based on the very small proportion of models visited. This is the case for the variable selection problem, with a moderate to large number of possible explanatory variables being considered in this paper. We review some of the strategies proposed in the literature and argue that inferences based on empirical frequencies via Markov Chain Monte Carlo sampling of the posterior distribution outperforms recently proposed searching methods. We give a plausible yet very simple explanation of this effect, showing that estimators based on frequencies are unbiased. The results obtained in two illustrative examples provide strong evidence in favor of our arguments.

研究の動機と目的

• 全列挙が不可能な大規模なモデル空間におけるベイズ的変数選択の課題に対処すること。
• 高次元モデル空間において、MCMCサンプリング周頻度に基づく経験推定器と、正規化ベイズ因子に基づく再正規化推定器を比較すること。
• 経験推定器が不偏であり、再正規化手法とは異なり測定可能な精度を持つことの証明。
• MCMCベースの周頻度推定が、包含確率や関心の高い特徴量の推定において、再正規化戦略よりも信頼性が高いかという、経験的および理論的証拠の提供。

提案手法

• ガウス線形モデルにおける計算を簡素化するために、Zellnerのg-ハイパーパラメータを用いて閉形式のベイズ因子を導出する。
• MCMCサンプリングを用いて、モデル空間上の事後分布から代表的なモデルの集合 $\mathcal{M}^*$ を生成する。
• 標準的なMCMC仮定の下で不偏性を保証するため、経験推定器を確率に比例するサイズ抽出（PPS）サンプリング推定器として扱う。
• 正確な35変数データセットからの結果を用いて、$\mathcal{M}^*$ における訪問頻度に基づく経験推定器と、正規化されたベイズ因子に基づく再正規化推定器を比較する。
• 並列化されたCコードを用いて正確な包含確率とHPMs（最高事後確率モデル）を計算し、近似手法のベンチマーク評価を可能にする。
• 経験周頻度に基づく包含確率の分散推定器を導出し、推定の不確実性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 MCMC訪問頻度に基づく経験推定器は、高次元ベイズ的変数選択において不偏であるか？
• RQ2 真の値が分かっている状況で、経験推定器と再正規化推定器は包含確率をどのように比較できるか？
• RQ3 高い事後確率モデルに注目する再正規化アプローチは、実際の状況でバイアスを生じるのか？
• RQ4 高確率モデルに明示的に焦点を当てていないにもかかわらず、経験的手法は再正規化手法よりも高い精度を達成できるか？
• RQ5 サンプリング設計と推定戦略は、大規模なモデル空間におけるベイズ的モデル選択の信頼性にどのように寄与するか？

主な発見

• MCMC訪問頻度に基づく経験推定器は、PPSサンプリングの一形態であるため不偏であるが、再正規化推定器は強くバイアスを生じる可能性がある。
• 35個の共変数を有するOzone35データセットにおいて、経験的手法は正確な包含確率とよく一致したが、再正規化手法は顕著なバイアスを示した。
• HPM（最高事後確率モデル）に関しては、両手法が同様の性能を示した。両者とも高確率モデルに注目しているためである。
• 経験的手法は包含確率の信頼性のある分散推定値を提供し、不確実性の定量化を可能にした。これは再正規化アプローチでは明確でない。
• 65個の共変数を有するより大きなOzone65問題においても、経験的手法は正確かつ安定した結果を示したが、再正規化手法は不安定さとバイアスを示した。
• 著者らは、再正規化戦略の直感的な魅力にもかかわらず、包含確率などの特徴量の推定において、経験的手法が一般的に優れていると結論づけている。