[論文レビュー] Decorrelation of Covariates for High Dimensional Sparse Regression

Jianqing Fan, Yuan Ke+1 more|arXiv (Cornell University)|Dec 27, 2016

Statistical Methods and Inference参考文献 17被引用数 8

ひとこと要約

本稿では、共変数の相関がある状況下でもモデル選択の一貫性を達成する高次元スパース回帰のための手法である要因補正分散除去（FAD）を提案する。FADは潜在的要因を特異的成分から分離することで、相関のある予測変数を弱く相関するものに変換し、やや厳しい条件下でも一貫性のあるモデル選択と最適な収束速度を実現する。有限標本でも優れた性能を示し、相関構造の変化に柔軟に対応できる。

ABSTRACT

This paper studies the model selection consistency for high dimensional sparse regression with correlated covariates for a general class of regularized $M$ estimators. The commonly-used model selection methods fail to consistently recover the true model when the covariates are not weakly correlated. This paper proposes a consistent model selection strategy named Factor Adjusted Decorrelation (FAD) for high dimensional sparse regression when the covariate dependence can be reduced through factor models. By separating the latent factors from idiosyncratic components, we transform the problem from model selection with highly correlated covariates to that with weakly correlated variables. We show that FAD can achieve model selection consistency as well as optimal rates of convergence under mild conditions. Numerical studies show FAD has nice finite sample performance in terms of both models selection and out-of-sample prediction. Moreover, FAD is a flexible method in a sense that it pays no price for weakly correlated and uncorrelated cases. The proposed method is applicable to a wide range of high dimensional sparse regression.

研究の動機と目的

• 共変数が強く相関している場合に標準的手法が機能しない高次元スパース回帰の問題に対処すること。
• 共変数に強い依存性がある状況でも効果を発揮する一貫性のあるモデル選択戦略を開発すること。
• 共変数内の潜在的共通要因の影響を、特異的成分から分離することで低減すること。
• やや厳しい正則性条件のもとでモデル選択の一貫性と最適な収束速度を達成すること。
• 共変数が弱く相関している、あるいは相関がない状況でも、この手法が有効かつ効率的であることを保証すること。

提案手法

• FADは、共変数行列を低ランクの要因成分と残差の特異的成分に分解するための要因モデルを適用する。
• 主成分分析や類似手法を用いて、共変数から潜在的要因と因子負荷を推定する。
• 共通要因の効果を除去した後、残りの特異的成分を用いて正則化M推定量によるモデル選択を行う。
• 相関が弱いとされる変数の上でのモデル選択が行われるため、一貫性のある選択が可能になる。
• 変換された変数上で正則化M推定量を活用することで、スパarsityと一貫性を達成する。
• この手法は柔軟であり、弱くまたは相関のない共変数にはペナルティを課さないため、そのような状況でも効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 共変数が強く相関している状況下でも、高次元スパース回帰においてモデル選択の一貫性を達成できるか？
• RQ2 共変数内に存在する潜在的共通要因を効果的に分離することで、相関を低減できるか？
• RQ3 提案されたFAD手法は、やや厳しい正則性条件のもとで一貫性と最適な収束速度を維持できるか？
• RQ4 FADは、既存の手法と比較して有限標本におけるモデル選択と予測性能の点で優れているか？
• RQ5 共変数が弱く相関している、あるいは相関がない状況でも、この手法は頑健かつ効率的か？

主な発見

• FADは、共変数が強く相関している場合でも、高次元スパース回帰におけるモデル選択の一貫性を達成する。
• 要因構造および誤差構造に関するやや厳しい正則性条件のもとで、最適な収束速度を達成する。
• 数値的実験により、モデル選択の正確性と予測の外挿性能の両面で優れた有限標本性能が示された。
• 弱く相関している、あるいは相関のない状況でも、FADはペナルティを課さずに効率性と一貫性を維持する。
• 要因調整による変換により、相関が低減され、変換後の変数に対する一貫性のある選択が可能になった。
• この手法は、広範な高次元スパース回帰モデルに普遍的に適用可能である。