[論文レビュー] Variable Selection for Highly Correlated Predictors

Fei Xue, Annie Qu|arXiv (Cornell University)|Sep 14, 2017

Statistical Methods and Inference参考文献 39被引用数 8

ひとこと要約

本稿では、予測子間の相関効果を低減しつつ回帰係数の大きさを保持することで、高い多重共線性下でも一貫した変数選択を可能にする、新たな変数選択手法である半標準偏自己共分散（SPAC）を提案する。SPAC-Lassoは、低次元および高次元設定の両方で符号の一貫性を達成し、シミュレーションおよびHapMap遺伝子データ解析において、Lasso、適応Lasso、SCAD、PC-simpleを上回る性能を示す。

ABSTRACT

Penalty-based variable selection methods are powerful in selecting relevant covariates and estimating coefficients simultaneously. However, variable selection could fail to be consistent when covariates are highly correlated. The partial correlation approach has been adopted to solve the problem with correlated covariates. Nevertheless, the restrictive range of partial correlation is not effective for capturing signal strength for relevant covariates. In this paper, we propose a new Semi-standard PArtial Covariance (SPAC) which is able to reduce correlation effects from other predictors while incorporating the magnitude of coefficients. The proposed SPAC variable selection facilitates choosing covariates which have direct association with the response variable, via utilizing dependency among covariates. We show that the proposed method with the Lasso penalty (SPAC-Lasso) enjoys strong sign consistency in both finite-dimensional and high-dimensional settings under regularity conditions. Simulation studies and the `HapMap' gene data application show that the proposed method outperforms the traditional Lasso, adaptive Lasso, SCAD, and Peter-Clark-simple (PC-simple) methods for highly correlated predictors.

研究の動機と目的

• 予測子が高相関を示す状況下で、従来のペナルティベース手法が関連変数の選択に失敗する問題に対処すること。
• 相関のある状況下で信号強度を捉える能力に制限がある部分相関の限界を克服すること。
• 予測子間の依存関係を活用して、応答変数との直接的関連を持つ共変量を同定する手法を開発すること。
• 有限次元および高次元設定の両方で符号の一貫性を保証すること。
• 強いかかわり（リード・ディスエクイリブリウム）を示す実世界のゲノムデータ（例：HapMap遺伝子データ）において、性能を向上させること。

提案手法

• 他の予測子からの相関効果を低減しつつ係数の大きさを組み込む変換として、半標準偏自己共分散（SPAC）を提案する。
• SPAC変換された予測子にLassoペナルティを適用し、同時に変数選択と係数推定が可能なSPAC-Lassoを構築する。
• 予測子間の依存構造を活用して、応答変数との直接的関連を特定する。
• 有限次元および高次元設定におけるSPAC-Lassoの理論的一貫性を確立するために、正則性条件を用いる。
• 部分共分散の概念を採用するが、古典的偏相関の制限された範囲を超えて信号強度を保持するように拡張する。
• スケール不変性を確保し、係数の大きさの解釈性を向上させるために標準化ステップを導入する。

実験結果

リサーチクエスチョン

• RQ1 予測子が高相関を示す状況下でも、変数選択手法が符号の一貫性を維持できるか？
• RQ2 SPAC-Lassoは、高相関性の高い状況下で、Lasso、適応Lasso、SCAD、PC-simpleといった従来手法を上回る性能を示せるか？
• RQ3 部分相関が失敗する相関のある予測子において、SPACは信号強度を効果的に捉えることができるか？
• RQ4 標準的な正則性条件のもとで、SPAC-Lassoは有限次元および高次元設定の両方で一貫性を示せるか？
• RQ5 リード・ディスエクイリブリウムが強い、例としてHapMapデータのような実際のゲノムデータにおいて、SPAC-Lassoはどの程度の性能を示すか？

主な発見

• SPAC-Lassoは、正則性条件のもとで、有限次元および高次元設定の両方で符号の一貫性を達成し、正しい変数選択を保証する。
• 高相関性の高い状況下で、シミュレーション研究において、従来のLasso、適応Lasso、SCAD、PC-simpleを上回る性能を示す。
• リード・ディスエクイリブリウムにより強い相関を示すHapMap遺伝子データセットにおいて、関連予測子の同定に優れた性能を示す。
• SPACアプローチは、相関効果を効果的に低減しつつ係数の大きさを保持し、応答変数との直接的関連の検出を向上させる。
• 理論的分析により、SPAC-Lassoが予測子が高相関であっても一貫性を保つことが確認され、標準的なペナルティ法の主な限界を克服する。
• 実証的結果から、部分相関に基づく手法および標準的なペナルティ法と比較して、SPAC-Lassoは変数選択の正確性と信号検出能力が向上することが示された。