[論文レビュー] Bayesian Sparse Global-Local Shrinkage Regression for Selection of Grouped Variables

Zemei Xu, Daniel F. Schmidt+3 more|arXiv (Cornell University)|Sep 13, 2017

Statistical Methods and Inference参考文献 29被引用数 6

ひとこと要約

本稿では、高次元データにおける重複するグループ構造および階層的グループ構造を扱うために、ホーシュープおよびホーシュープ+事前分布を用いたベイジアングループ化されたグローバルローカル縮約回帰モデルを提案する。このモデルは、DSS（分離された縮約と選択）手法をグループレベルの変数選択に拡張し、改善された自由度推定器を導入することで、BSGSなど既存の手法と比較して、特にスパースグループ設定において優れたグループ選択精度と予測性能を達成している。

ABSTRACT

Most estimates for penalised linear regression can be viewed as posterior modes for an appropriate choice of prior distribution. Bayesian shrinkage methods, particularly the horseshoe estimator, have recently attracted a great deal of attention in the problem of estimating sparse, high-dimensional linear models. This paper extends these ideas, and presents a Bayesian grouped model with continuous global-local shrinkage priors to handle complex group hierarchies that include overlapping and multilevel group structures. As the posterior mean is never a sparse estimate of the linear model coefficients, we extend the recently proposed decoupled shrinkage and selection (DSS) technique to the problem of selecting groups of variables from posterior samples. To choose a final, sparse model, we also adapt generalised information criteria approaches to the DSS framework. To ensure that sparse groups, in which only a few predictors are active, can be effectively identified, we provide an alternative degrees of freedom estimator for sparse Bayesian linear models that takes into account the effects of shrinkage on the model coefficients. Simulations and real data analysis using our proposed method show promising performance in terms of correct identification of active and inactive groups, and prediction, in comparison with a Bayesian grouped slab-and-spike approach.

研究の動機と目的

• 重複および階層的グループ構造を含む複雑な構造を持つスパースな高次元回帰モデルの選択に課題を提起する。
• 連続的縮約事前分布の限界を克服し、グループレベルで分離された縮約と選択（DSS）フレームワークを統合することで、後部平均の非スパース性を回避する。
• DSSフレームワークに改良された自由度推定器を組み合わせた一般化情報基準（GIC）の適応により、グループ化ベイジアン回帰におけるモデル選択を改善する。
• 特にグループ内に真に関連する予測子が少数である場合に、効率的かつ正確に活性グループを同定することを可能にする。
• 特に小標本および高次元設定において、BSGSなどの既存のベイジアングループ化手法と比較して、優れた予測性能とグループ選択精度を示す。

提案手法

• 重複および階層的グループ構造を柔軟に扱えるように、グローバルローカル縮約事前分布（ホーシュープおよびホーシュープ+）を用いた階層ベイジアンモデルを提案し、グループ係数の柔軟な縮約を可能にする。
• DSS（分離された縮約と選択）手法をグループレベルに拡張し、グループ非負ガロット手順を用いて後部平均の縮約とグループ選択を分離する。
• 係数推定値への縮約効果を考慮した、グループ非負ガロット解に対する新しい自由度推定器を導入し、スパースグループ設定におけるモデル選択精度を向上させる。
• 分散説明、過剰誤差、BIC*、AIC* の4つの情報基準をグループDSSフレームワークに適応し、最終的なスパースモデルの選択に用いる。
• MCMCによる事後分布サンプリングでグループ係数の事後分布を取得し、その後にGICを用いたDSSベースのスパース化とモデル選択を実施する。
• 予測子を標準化し、応答変数を中央化する再パラメータ化戦略を用いることで、高次元設定における安定性と解釈可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 重複および階層的グループ構造を持つグループ回帰モデルに、グローバルローカル縮約事前分布を効果的に拡張できるか？
• RQ2 DSS手法をグループレベルの変数選択に適応する方法は何か？ その際、計算効率を維持できるか？
• RQ3 提案されたグループ非負ガロット解の自由度推定器は、標準推定器と比較してスパースグループ設定でモデル選択精度を向上させるか？
• RQ4 提案手法のグループ選択精度と予測誤差は、ベイジアングループスラブ・アンド・スパイク（BSGS）手法と比較してどのように異なるか？
• RQ5 グループDSSフレームワークに適応した情報基準は、高次元でスパースな回帰問題において、ヒューリスティックなモデル選択ルールを上回る性能を示すか？

主な発見

• 事後期待自由度を用いた場合、4つの情報基準（分散説明、過剰誤差、BIC*、AIC*）において、提案手法は同一のグループ選択結果を達成しており、モデル選択の堅牢性を示している。
• 出生体重データセットでは、最終モデルが5つのグループ（LWT、LWT²、LWT³、RACE（黒人-白人およびその他の白人）、SMOKE、HT、UI）を選択したが、比較性を確保するため相互作用項は含めなかった。
• 提案手法は、BSGS手法と比較して平均二乗予測誤差を5.8%〜6.0%低減し、AIC*、AICc*、BIC*の各基準で0.940〜0.946の比率を示した。
• 事後平均推定値は予測誤差が最小（比率0.906）であったが、スパースではなかった。一方、提案されたDSSベースのモデル選択は、ほぼ最適な予測性能を達成するスパースモデルを生成した。
• 小標本情報基準（例：AICc*）の使用は、HahnとCarvalho（2015）が提示した元のヒューリスティック基準を著しく上回り、特に高次元およびスパース設定で顕著に優れた性能を示した。
• 提案手法は、BSGSと同等のグループ同定精度を示したが、著しく低い計算コストを実現しており、大規模かつ高次元のグループ化回帰問題へのスケーラビリティを有している。