[論文レビュー] On variance estimation for Bayesian variable selection

Gemma E. Moran, Veronika Ročková+1 more|arXiv (Cornell University)|Jan 9, 2018

Statistical Methods and Inference参考文献 20被引用数 4

ひとこと要約

この論文は、高次元ガウス線形モデルにおけるベイズ変数選択において、共役連続的縮小事前分布が誤差分散推定を著しくバイアスする可能性があると主張している。著者らは、回帰係数と誤差分散の独立事前分布を提唱することで、スパイクアンドスラブラッソを未知分散の状況に拡張し、シミュレーションにおいて正則化尤度法と固定分散ベイズ的手法の両方を上回る性能を示した。

ABSTRACT

Consider the problem of high dimensional variable selection for the Gaussian linear model when the unknown error variance is also of interest. In this paper, we argue that the use conjugate continuous shrinkage priors for Bayesian variable selection can have detrimental consequences for such error variance estimation. Instead, we recommend the use of priors which treat the regression coefficients and error variance as independent a priori. We revisit the canonical reference for invariant priors, Jeffreys (1961), and highlight a caveat with their use that Jeffreys himself noted. For the case study of Bayesian ridge regression, we demonstrate that these scale-invariant priors severely underestimate the variance. More generally, we discuss how these priors also interfere with the mechanics of the Bayesian global-local shrinkage framework. With these insights, we extend the Spike-and-Slab Lasso of Rockova and George (2016) to the unknown variance case, using an independent prior for the error variance. Our procedure outperforms both alternative penalized likelihood methods and the fixed variance case on simulated data.

研究の動機と目的

• 高次元ベイズ変数選択における共役連続的縮小事前分布が誤差分散推定に与える影響を調査すること。
• 回帰モデルにおける誤差分散推定に用いられるスケール不変事前分布（例：ジェファレズの事前分布）の欠陥を特定すること。
• これらの事前分布がベイズ変数選択におけるグローバルローカル縮小フレームワークに与える干渉を解明すること。
• 回帰係数と誤差分散を事前的に独立とみなす、頑健なベイズ変数選択手法を開発すること。
• 未知分散設定へのスパイクアンドスラブラッソの拡張を行い、既存手法と比較してその性能を評価すること。

提案手法

• ジェファレズ（1961）の不変事前分布を再検討し、彼自身が分散推定におけるその使用に関して注意を喚起した点を強調する。
• 誤差分散推定への悪影響を回避するため、回帰係数と誤差分散の両方に独立事前分布を提案する。
• 係数と分散の事前分布の依存関係を解体することで、スパイクアンドスラブラッソフレームワークを未知誤差分散に適応させる。
• 誤差分散に逆ガンマ分布または弱情報的事前分布を割り当て、回帰係数の事前分布とは独立に設定する階層ベイズモデルを採用する。
• MCMCまたは変分ベイズ推論を用いて、新しい独立事前分布構造下での事後分布計算を実施する。
• 固定分散法および正則化尤度法と比較したシミュレーションスタディを通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 共役連続的縮小事前分布は、高次元ベイズ線形モデルにおける誤差分散推定にどのように影響を与えるか？
• RQ2 回帰における誤差分散推定にスケール不変事前分布（例：ジェファレズの事前分布）を用いる場合、どのような結果が生じるか？
• RQ3 標準的な事前分布における係数と誤差分散の依存関係が、事後分布推論にどの程度歪みをもたらすか？
• RQ4 スパイクアンドスラブラッソは、未知分散設定に効果的に拡張可能であり、その理論的・実証的利点を保ち続けられるか？
• RQ5 提案手法の独立事前分布アプローチは、正則化尤度法および固定分散ベイズモデルと比較して、どの程度優れた性能を示すか？

主な発見

• 共役連続的縮小事前分布は、高次元設定において誤差分散を著しく低減推定する。
• 不変性の性質を持つにもかかわらず、ジェファレズの事前分布は、シミュレーション研究において真の誤差分散を体系的に低く推定する。
• 回帰係数と誤差分散の独立性仮定が、事後推定の精度向上とバイアス低減に寄与する。
• 独立誤差分散事前分布を用いた拡張スパイクアンドスラブラッソは、固定分散ベイズ手法および正則化尤度アプローチを上回る性能を示した。
• 特に高次元領域において、より信頼性の高い分散推定を実現しながら、強力な変数選択性能を維持した。