[论文解读] Decorrelation of Covariates for High Dimensional Sparse Regression

Jianqing Fan, Yuan Ke+1 more|arXiv (Cornell University)|Dec 27, 2016

Statistical Methods and Inference参考文献 17被引用 8

一句话总结

本文提出因子校正去相关法（FAD），一种用于高维稀疏回归的方法，通过将潜在因子与特异分量分离，在协变量相关时实现模型选择一致性。FAD将相关预测变量转化为弱相关变量，使在温和条件下实现一致模型选择与最优收敛速率成为可能，且在有限样本中表现强劲，适用于各种相关性情境。

ABSTRACT

This paper studies the model selection consistency for high dimensional sparse regression with correlated covariates for a general class of regularized $M$ estimators. The commonly-used model selection methods fail to consistently recover the true model when the covariates are not weakly correlated. This paper proposes a consistent model selection strategy named Factor Adjusted Decorrelation (FAD) for high dimensional sparse regression when the covariate dependence can be reduced through factor models. By separating the latent factors from idiosyncratic components, we transform the problem from model selection with highly correlated covariates to that with weakly correlated variables. We show that FAD can achieve model selection consistency as well as optimal rates of convergence under mild conditions. Numerical studies show FAD has nice finite sample performance in terms of both models selection and out-of-sample prediction. Moreover, FAD is a flexible method in a sense that it pays no price for weakly correlated and uncorrelated cases. The proposed method is applicable to a wide range of high dimensional sparse regression.

研究动机与目标

• 解决标准模型选择方法在协变量高度相关时于高维稀疏回归中失效的问题。
• 开发一种即使在协变量表现出强依赖性时仍有效的稳定模型选择策略。
• 通过将协变量中的潜在共同因子与特异分量分离，降低其影响。
• 在温和正则性条件下实现模型选择一致性和最优收敛速率。
• 确保该方法在弱相关或不相关情况下仍保持有效性和高效性。

提出的方法

• FAD 应用因子模型将协变量矩阵分解为低秩因子分量与残差特异分量。
• 通过主成分分析或类似技术从协变量中估计潜在因子与因子载荷。
• 在去除共同因子效应后，使用正则化 M-估计器对剩余特异分量进行模型选择。
• 在去相关变量上执行模型选择，这些变量近似弱相关，从而实现一致选择。
• 该方法在变换后的变量上利用正则化 M-估计器，以实现稀疏性与一致性。
• 该方法具有灵活性，对弱相关或不相关的协变量不施加惩罚，从而在这些情况下保持高效性。

实验结果

研究问题

• RQ1 当协变量高度相关时，能否在高维稀疏回归中实现模型选择一致性？
• RQ2 如何有效分离协变量中的潜在共同因子以降低依赖性？
• RQ3 所提出的 FAD 方法在温和正则性条件下是否仍能保持一致性和最优收敛速率？
• RQ4 与现有方法相比，FAD 在有限样本中模型选择与预测性能如何？
• RQ5 当协变量弱相关或不相关时，该方法是否具有鲁棒性与高效性？

主要发现

• 即使协变量高度相关，FAD 仍能实现高维稀疏回归的模型选择一致性。
• 在因子结构与误差结构的温和正则性条件下，该方法达到最优收敛速率。
• 数值研究显示，FAD 在模型选择准确率与样本外预测方面均表现出强劲的有限样本性能。
• 在弱相关或不相关设置下，FAD 无需惩罚即可保持高效性与一致性。
• 通过因子校正的变换成功降低了依赖性，使在去相关变量上的一致选择成为可能。
• 该方法广泛适用于各类高维稀疏回归模型。