[論文レビュー] Bayesian Variable Selection and Estimation Based on Global-Local Shrinkage Priors

Xueying Tang, Xiaofan Xu+2 more|arXiv (Cornell University)|May 25, 2016

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿は、グローバルローカル縮約事前分布を用いた線形回帰におけるベイズ変数選択手法を提案し、事後平均とOLS推定量の比が1/2を超えるかどうかに基づいて変数を選択する。直交設計および多項式的尾部を持つ局所的事前分布の下で、この手法はオラクル性質を達成する——同時に変数選択の一致性と最適な推定速度を満たす。

ABSTRACT

In this paper, we consider Bayesian variable selection problem of linear regression model with global-local shrinkage priors on the regression coefficients. We propose a variable selection procedure that select a variable if the ratio of the posterior mean to the ordinary least square estimate of the corresponding coefficient is greater than $1/2$. Under the assumption of orthogonal designs, we show that if the local parameters have polynomial-tailed priors, our proposed method enjoys the oracle property in the sense that it can achieve variable selection consistency and optimal estimation rate at the same time. However, if, instead, an exponential-tailed prior is used for the local parameters, the proposed method does not have the oracle property.

研究の動機と目的

• 高次元線形回帰における同時に変数選択と係数推定を実行するベイズ変数選択手順の開発。
• 縮約事前分布が正確なゼロ推定値を生成するという限界を克服するため、事後平均とOLS推定量の比に基づくしきい値ルールの導入。
• 提案手法がオラクル性質（変数選択の一貫性および最適な推定速度）を達成する理論的条件の確立。
• 多項式的尾部を持つ局所的事前分布と指数的尾部を持つ局所的事前分布の間で、オラクル性質の達成度を比較する。
• 特にアダプティブラassoおよびスパイクアンドスラブ事前分布と関連して、ベイズ枠組みにおける縮約に基づく変数選択の理論的理解を拡張する。

提案手法

• 変数選択ルールの提案：変数 $i$ を含めるのは $\frac{\mathbb{E}[\beta_i \mid \mathbf{Y}]}{\hat{\beta}_i^{\text{OLS}}} > \frac{1}{2}$ であるとき、ここで $\hat{\beta}_i^{\text{OLS}}$ は通常最小二乗推定量である。
• 回帰係数にグローバルローカル縮約事前分布を適用し、グローバルハイパーパrameter $\tau_n$ とローカルハイパーパrameter $\lambda_i$ を用いる。
• 変数 $i$ を含めるための事後包含確率の漸近的挙動を、事後オッズの比 $\tilde{S}_n^{(i)}$ から分析する。
• 逆ガウス分布をローカルスケールパラメータに用いることで、事後包含確率の解析的表現を導出する。
• 直交設計の下で漸近的解析を実施し、$n \to \infty$ の下で $n^2\tau_n \to \infty$, $c$, または $0$ となるスケーリングの下で収束性を検討する。
• 逆ガウス分布のCDFおよび尾部近似を用いて、事後包含オッズ比 $\tilde{S}_n^{(i)}$ の極限挙動を導出する。

実験結果

リサーチクエスチョン

• RQ1 グローバルローカル縮約事前分布に基づくベイズ変数選択手順は、同時に一貫性のある変数選択と最適な推定速度を達成するオラクル性質を有するか？
• RQ2 局所的事前分布の尾部挙動（多項式的対指数的）は、提案手法のオラクル性質にどのように影響するか？
• RQ3 事後平均とOLS推定量の比に基づく提案されたしきい値ルールは、直交設計下で一貫性のある変数選択をもたらすか？
• RQ4 局所的事前分布が多項式的尾部か指数的尾部かに応じて、事後包含確率の漸近的挙動はどのように変化するか？
• RQ5 パラメータ $\tau_n$ の選択は、事後包含オッズの収束およびそれに伴う選択の一貫性にどのように影響するか？

主な発見

• 直交設計および多項式的尾部を持つ局所的事前分布の下で、提案手法はオラクル性質を達成する——変数選択の一貫性を満たし、最適な $\sqrt{n}$ の推定速度を達成する。
• 指数的尾部を持つ局所的事前分布が用いられた場合、この手法はオラクル性質を達成できない。これは、局所的事前分布の尾部の厚さが理論的性能にきわめて重要であることを示唆する。
• すべての検討された $n^2\tau_n$ のスケーリング則の下で、事後包含オッズ比 $\tilde{S}_n^{(i)}$ は確率的に無限大に発散する。これは、非ゼロ係数に対して強い事後集中が生じることを示す。
• 非ゼロ係数に対しては $\sqrt{n}\tilde{S}_n^{(i)} \overset{p}{\to} \infty$ となる。これは、真に関連のある変数の包含の一貫性を支持する。
• $\tilde{S}_n^{(i)}$ の極限挙動は $n^2\tau_n$ の漸近的スケーリングに依存するが、すべてのケースで非ゼロ係数の事後包含確率は1に収束する。
• この手法の理論的性能は、局所的事前分布の尾部挙動に敏感である：オラクル性質を達成するのは多項式的尾部に限る。指数的尾部では達成できない。