[論文レビュー] Signal Adaptive Variable Selector for the Horseshoe Prior

Pallavi Ray, Anirban Bhattacharya|arXiv (Cornell University)|Oct 21, 2018

Genetic and phenotypic traits in livestock被引用数 8

ひとこと要約

本稿では、ホーシューフィールド・プライアを用いた高次元回帰における変数選択のための完全自動的・チューニングフリーな手法である Signal Adaptive Variable Selector (SAVS) を提案する。SAVS は事後平均を後処理し、信号の強さに基づいて係数を適応的にしきい値処理することで、信号とノイズを同定する。この手法は多様な設計に対して強固な性能を示し、20,000個以上の共変量を有するシミュレーションおよび実際のゲノムデータにおいて、頻度主義的およびベイズ的代替手法を上回る性能を発揮する。

ABSTRACT

In this article, we propose a simple method to perform variable selection as a post model-fitting exercise using continuous shrinkage priors such as the popular horseshoe prior. The proposed Signal Adaptive Variable Selector (SAVS) approach post-processes a point estimate such as the posterior mean to group the variables into signals and nulls. The approach is completely automated and does not require specification of any tuning parameters. We carried out a comprehensive simulation study to compare the performance of the proposed SAVS approach to frequentist penalization procedures and Bayesian model selection procedures. SAVS was found to be highly competitive across all the settings considered, and was particularly found to be robust to correlated designs. We also applied SAVS to a genomic dataset with more than 20,000 covariates to illustrate its scalability.

研究の動機と目的

• 連続的縮小プライア（例：ホーシューフィールド・プライア）に適した、自動的かつチューニング・パrameterフリーの変数選択手法の欠如に対処すること。
• ユーザーが指定するしきい値を必要とせず、事後平均をスパース推定に変換する後処理アプローチの開発。
• 既存の頻度主義的およびベイズ的変数選択手法と比較して、相関構造を持つ設計に対してより強健な性能を発揮すること。
• 20,000個以上の共変量を有する高次元ゲノムデータに対して、この手法のスケーラビリティを示すこと。

提案手法

• SAVS は、MCMC や決定的近似によって得られる点推定（例：事後平均や中央値）を後処理する。
• 信号強度に基づく基準を用いて、事後平均を適応的にしきい値処理し、変数を信号とノイズにグループ化する。
• 完全に自動化されており、チューニング・パrameterを必要とせず、事後平均の経験的分布を用いて信号の境界を定義する。
• 事後平均の縮小特性を活用して、非ゼロ（信号）とゼロ（ノイズ）の係数を区別する。
• 本手法はホーシューフィールドに限らず、他のグローバルローカル縮小プライアに対しても一般化可能であるが、本稿ではホーシューフィールド・プライアに焦点を当てる。
• 計算が効率的かつスケーラブルであり、p > 20,000 個の共変量を有する大規模データセットへの応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 ホーシューフィールド・プライアモデルをフィッティングした後、完全に自動的かつチューニングフリーな方法で変数選択を実行できる手法を開発できるか？
• RQ2 相関構造を持つ高次元設計において、SAVS は SCAD や MCP や適応的lasso といった頻度主義的ペナルティ法と比較してどのように性能を発揮するか？
• RQ3 信号強度や相関構造が変化する状況下でも、SAVS は高い検出力と低い誤発見率を維持できるか？
• RQ4 SAVS は、数万個の共変量を有する大規模ゲノムデータセットに効果的にスケーリングできるか？

主な発見

• すべてのシミュレーション設定において、SAVS は中央値として 0.96 の真陽性率を達成し、直交設計（Set-1）では100％のパワーを示し、相関構造を持つ設計（Set-2）では 0.81–0.94 の高いパワーを維持した。
• 相関構造を持つ設計（Set-2）において、SAVS は高い真陽性率（0.80–0.95）と低い誤発見率（0.00–0.19）を維持し、いくつかの設定で SCAD や適応的lasso や MCP を上回った。
• 20,000個以上の共変量を有するゲノムデータセットにおいて、SAVS は高い正確性とスケーラビリティを備えて関連信号を的確に同定し、実世界の応用における実用的価値を示した。
• SAVS は特に相関構造を持つ設計に対して強く、頻度主義的手法（例：SCAD や MCP）は顕著な性能低下（例：Set-2 で真陽性率が 0.00–0.06）を示したのと対照的であった。
• Set-1（直交設計）の10のシミュレーション状況のうち8つで、SAVS は100％の真陽性率を達成し、理想状態での優れた性能を示した。
• 弱い信号を有する状況では、SAVS は Set-2 で 0.81 の真陽性率を維持したが、適応的lasso や MCP はそれぞれ 0.59 と 0.60 に低下し、弱い信号に対する感受性が優れていることが示された。