[論文レビュー] Bayesian Sparse Global-Local Shrinkage Regression for Grouped Variables

Zemei Xu, Daniel F. Schmidt+3 more|arXiv (Cornell University)|Sep 13, 2017

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿では、重複する構造および多次元階層構造を有するグループ化変数に対して、連続的縮小事前分布を用い、分離縮小と選択（DSS）フレームワークを拡張することでスパースグループ選択を可能にするベイジアンスパースグローバルローカル縮小回帰モデルを提案する。本稿では、スパースモデルにおける新たな自由度推定器を導入し、スラブ・アンド・スピーク代替手法と比較して、活性グループの同定および予測精度の両面で優れた性能を示す。

ABSTRACT

Most estimates for penalised linear regression can be viewed as posterior modes for an appropriate choice of prior distribution. Bayesian shrinkage methods, particularly the horseshoe estimator, have recently attracted a great deal of attention in the problem of estimating sparse, high-dimensional linear models. This paper extends these ideas, and presents a Bayesian grouped model with continuous global-local shrinkage priors to handle complex group hierarchies that include overlapping and multilevel group structures. As the posterior mean is never a sparse estimate of the linear model coefficients, we extend the recently proposed decoupled shrinkage and selection (DSS) technique to the problem of selecting groups of variables from posterior samples. To choose a final, sparse model, we also adapt generalised information criteria approaches to the DSS framework. To ensure that sparse groups, in which only a few predictors are active, can be effectively identified, we provide an alternative degrees of freedom estimator for sparse Bayesian linear models that takes into account the effects of shrinkage on the model coefficients. Simulations and real data analysis using our proposed method show promising performance in terms of correct identification of active and inactive groups, and prediction, in comparison with a Bayesian grouped slab-and-spike approach.

研究の動機と目的

• 高次元線形モデルにおける複雑なグループ階層構造（重複および多次元構造を含む）を有する変数のグループ選択の課題に対処すること。
• 離散的スパイク・アンド・スレイド事前分布を回避する連続的縮小事前分布を用いて、グループレベル係数のスパース推定を可能にするベイジアンフレームワークの構築。
• 後方分布サンプルに分離縮小と選択（DSS）技術を拡張し、最終的なモデルにおけるスパarsityを保証するグループ選択の実現。
• スパースベイジアン線形モデルにおける縮小効果を適切に反映する自由度推定器を提案し、モデル選択の正確性を向上させること。
• シミュレーションおよび実データを用いた評価を通じて、本手法の真の活性グループの同定および高い予測精度の両面での性能を検証すること。

提案手法

• グループレベル係数に連続的グローバルローカル縮小事前分布を適用し、複雑な階層的構造を有するグループ間で柔軟な縮小を可能にする。
• 後方分布サンプルに分離縮小と選択（DSS）技術を適応させ、縮小と選択を分離することで、スパースグループ同定を可能にする。
• 係数の分散に及ぼす縮小効果を反映する新たな自由度推定器を導入し、モデルの複雑さの評価を改善する。
• DSSフレームワーク内に一般化情報基準（GIC）を組み込み、後方分布サンプルから最終的なスパースモデルを選択する。
• シミュレーションデータおよび実世界のデータセットを用いて、グループ選択の正確性および予測性能を評価する。
• 縮小には後方分布の平均、選択には後方分布のモードを用い、完全な後方分布を活用して頑健な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 連続的グローバルローカル縮小事前分布は、高次元回帰における重複および多次元グループ構造を効果的に処理できるか？
• RQ2 ベイジアングループモデルにおける後方分布サンプルにDSSフレームワークを適用した場合、グループ選択の正確性はどのように向上するか？
• RQ3 提案された自由度推定器は、スパースベイジアン線形モデルにおけるモデル複雑さのより正確な測定を可能にするか？
• RQ4 本手法は、真の活性グループの同定および予測結果の予測において、ベイジアンスラブ・アンド・スピークアプローチと比較してどのように差を示すか？
• RQ5 縮小効果は係数の分散にどのように影響するか？ また、自由度推定においてその影響を適切に反映するにはどうすればよいか？

主な発見

• 提案手法は、ベイジアングループスラブ・アンド・スピークアプローチと比較して、活性および非活性グループの同定において優れた性能を示した。
• 本手法は、シミュレーションおよび実データの両設定において、スラブ・アンド・スピークベンチマークを上回る高い予測精度を達成した。
• 新規に提案された自由度推定器は、モデル複雑さに及ぼす縮小効果を効果的に捉えており、選択の信頼性を向上させた。
• DSSに基づく選択フレームワークは、重複および階層的グループ構造が存在する状況においても、後方分布サンプルからスパースグループ構造を的確に同定できた。
• シミュレーションにより、さまざまなスパarsityおよび相関の程度の下でも、本手法が高い真正陽性率および真正陰性率を維持することが確認された。
• 実データ解析では、特に複雑なグループ構造を有する高次元設定において、モデル選択および予測性能の両面で一貫した改善が得られた。