[論文レビュー] Bayesian Variable Selection for Multi-Outcome Models Through Shared\n Shrinkage

Debamita Kundu, Riten Mitra+1 more|arXiv (Cornell University)|Jan 1, 2019

Statistical Methods and Bayesian Inference参考文献 26被引用数 34

ひとこと要約

グローバル-ローカル shrinkage を多変量回帰に拡張し、複数のアウトカムに影響を与える共変量を特定する。3つの多アウトカム shrinkage モデルと事後一貫性の結果。

ABSTRACT

Variable selection over a potentially large set of covariates in a linear\nmodel is quite popular. In the Bayesian context, common prior choices can lead\nto a posterior expectation of the regression coefficients that is a sparse (or\nnearly sparse) vector with a few non-zero components, those covariates that are\nmost important. This article extends the global-local shrinkage idea to a\nscenario where one wishes to model multiple response variables simultaneously.\nHere, we have developed a variable selection method for a K-outcome model\n(multivariate regression) that identifies the most important covariates across\nall outcomes. The prior for all regression coefficients is a mean zero normal\nwith coefficient-specific variance term that consists of a predictor-specific\nfactor (shared local shrinkage parameter) and a model-specific factor (global\nshrinkage term) that differs in each model. The performance of our modeling\napproach is evaluated through simulation studies and a data example.\n

研究の動機と目的

• 高次元の多変量回帰における変数選択を動機づける。
• Kアウトカムにまたがる共有局所 shrinkage フレームワークを開発してモデル間で強さを借りる。
• 3つの多アウトカム shrinkage 事前分布（Normal-gamma、horseshoe、Dirichlet-Laplace）を比較し、シミュレーションと酵母データセットで性能を評価する。

提案手法

• K-outcome モデルへ拡張した GL（ global-local ） shrinkage 事前分布を提案する：beta_jk ~ N(0, lambda_j^2 tau_k^2); lambda_j ~ f(.); tau_k ~ g(.)
• 3つのバージョンを実装する：Multi-outcome Normal-gamma (MONG)、Multi-outcome Horseshoe (MOHS)、Multi-outcome Dirichlet-Laplace (MODL)
• サンプリング方式を提供する：可能な場合は共役更新；ハイパーパラメータにはガンマ/IG prior；共役でないブロックには適応型 Metropolis-Hastings ステップ
• 固定 Psi の下での事後一貫性を標準的な正則性条件（A1–A3）とともに確立する
• 実践的な実装の詳細とナイーブモデルおよび MBSP との比較を検討する。

実験結果

リサーチクエスチョン

• RQ1 複数アウトカムにわたって局所 shrinkage パラメータを共有することは、多変量回帰における変数選択と予測を改善するか。
• RQ2 MONG、MOHS、MODL は naive 独立事前分布および競合法と比較して MSPE と推定精度の点でどのように performance が異なるか。
• RQ3 提案されたフレームワークは、真の疎性構造がアウトカムごとに異なる場合にも有利な特性を維持するか。
• RQ4 これらのモデルの MCMC サンプラーの計算的考慮事項と収束特性はどうか。

主な発見

モデル	MSPE	SSE	全β	β≠0	β=0
MONG	1.028	0.097	0.095	0.002
MODL (a=0.5)	1.029	0.098	0.089	0.009
MODL (a=1/p)	1.032	0.125	0.112	0.013
MOHS	1.030	0.113	0.099	0.014
Naive NG	1.040	0.205	0.167	0.038
Naive DL (a=0.5)	1.036	0.176	0.104	0.073
Naive DL (a=1/p)	1.079	0.564	0.547	0.016
Naive Horseshoe	1.040	0.203	0.111	0.092
No shrinkage	1.059	0.416	0.080	0.337
Selection prior	1.028	0.134	0.134	0.000
MBSP model	1.029	0.104	0.092	0.012

• 共有 shrinkage モデルは、シミュレーション環境全体で naive モデルと比較して MSPE と SSE を低減する。
• 最初のシミュレーションでは、MONG、MODL (a=0.5)、MOHS、MBSP は MSPE が約1.0 程度で競争力を示し、非ゼロ係数の推定誤差 SSE を naive アプローチと比較して有意に低くする。
• a=0.5 および a=1/p のとき、MODL は shrinkage と信号保持のバランスを取り、いくつかの設定で naive Dirichlet-Laplace を上回る。
• アウトカム間で予測因子の関連が同一または異なる場合でも、shrinkage 情報の共有はゼロ係数の SSE を低くし、変数選択が改善されることを示す。
• 選択 prior と MBSP は予測性能で競争力を持つが、MBSP は tau が固定のためゼロ信号で相対的に SSE が高くなる一方、提案モデルはデータからグローバルスケールを推定する。