[論文レビュー] Robust Bayesian variable selection with sub-harmonic priors

Yuzo Maruyama, William E. Strawderman|arXiv (Cornell University)|Sep 10, 2010

Statistical Methods and Inference参考文献 21被引用数 8

ひとこと要約

本稿では、球対称誤差分布を伴う線形モデルに対する頑健なベイズ変数選択手法として、サブハーモニック事前分布を導入する。主な貢献は、これらの事前分布に基づくベイズ因子が、球対称誤差分布の選択に依存せず不変であることであり、これにより、重い尾を持つ対称誤差を含む広範なクラスの誤差分布において、モデル選択の一貫性と整合性が保証される。

ABSTRACT

This paper studies Bayesian variable selection in linear models with general spherically symmetric error distributions. We propose sub-harmonic priors which arise as a class of mixtures of Zellner's g-priors for which the Bayes factors are independent of the underlying error distribution, as long as it is in the spherically symmetric class. Because of this invariance to spherically symmetric error distribution, we refer to our method as a robust Bayesian variable selection method. We demonstrate that our Bayes factors have model selection consistency and are coherent. We also develop Laplace approximations to Bayes factors for a number of recently studied mixtures of g-priors that have recently appeared in the literature (including our own) for Gaussian errors. These approximations, in each case, are given by the Gaussian Bayes factor based on BIC times a simple rational function of the prior's hyper-parameters and the R^2's for the respective models. We also extend model selection consistency for several g-prior based Bayes factor methods for Gaussian errors to the entire class of spherically symmetric error distributions. Additionally we demonstrate that our class of sub-harmonic priors are the only ones within a large class of mixtures of g-priors studied in the literature which are robust in our sense. A simulation study and an analysis of two real data sets indicates good performance of our robust Bayes factors relative to BIC and to other mixture of g-prior based methods.

研究の動機と目的

• 一般の球対称誤差分布、特にガウス分布に限定されない状況でも頑健なままであるベイズ変数選択手法の開発。
• 既存手法がガウス誤差を仮定しており、より重い尾を持つ非正規分布では有効性を失うという限界を克服すること。
• 球対称誤差分布の全クラスにわたるモデル選択の一貫性と整合性を確保すること。
• 分布に依存しないベイズ因子をもたらす、g-事前分布の混合の唯一のクラスを同定すること。
• 計算が効率的で、有理数補正を施したBICに基づく、ベイズ因子の実用的かつ高精度な近似を提供すること。

提案手法

• サブハーモニック事前分布を、Zellnerのg-事前分布の混合として提案し、球対称誤差分布に依存しないベイズ因子を実現する。
• 尤度と事前分布の球対称性を活用して、球対称誤差下でのベイズ因子の不変性を導出する。
• 一般の球対称誤差分布下で、提案手法のモデル選択の一貫性を確立し、ガウス設定に限った先行結果を拡張する。
• 周辺尤度に対するラプラス近似を構築し、ベイズ因子をBICに基づく項に、ハイパーパrameterとR²の有理関数を乗じた形で表現する。
• 大標本下で残差平方和の比が指数型に収束することを応用し、漸近的妥当性を裏付ける。
• サブハーモニック事前分布が、文献で研究された広範な事前分布クラス内において、この不変性を持つ唯一の混合であることが示される。

実験結果

リサーチクエスチョン

• RQ1 線形モデルにおけるガウス誤差仮定からの逸脱に対して、ベイズ変数選択をどのようにして頑健化できるか？
• RQ2 どの種のg-事前分布混合が、球対称誤差分布にわたってベイズ因子を不変にするか？
• RQ3 ガウス誤差下でのモデル選択の一貫性が、球対称誤差の広いクラスに拡張可能か？
• RQ4 非ガウス誤差モデルに対して、正確かつ計算効率の良いベイズ因子の近似をどのように導出できるか？
• RQ5 多様な誤差分布にわたる変数選択の頑健性を保証する、一意な事前分布構造は存在するか？

主な発見

• 提案されたサブハーモニック事前分布は、球対称誤差分布の選択に依存しないベイズ因子をもたらし、広範な誤差モデルにわたる頑健性を実現する。
• 一般の球対称誤差分布下で、提案手法のモデル選択の一貫性が確立され、ガウス誤差に限定された先行結果が拡張された。
• ベイズ因子に対するラプラス近似が導出され、それがガウス分布に基づくBICに基づくベイズ因子に、事前分布のハイパーパrameterとモデルのR²の有理関数を乗じた形に等しいことが示された。
• 球対称誤差下でのベイズ因子の不変性を保証する、g-事前分布混合のクラスの中で、サブハーモニック事前分布が唯一のものであることが証明された。
• シミュレーション研究および実データ解析により、頑健なベイズ因子がBICや他のg-事前分布に基づく手法よりも、変数選択の精度が優れていることが示された。
• 帰無モデルが含まれる場合でも、事前分布構造のわずかな修正により、整合性が保たれ、有効性が維持される。