[论文解读] Interpolating Predictors in High-Dimensional Factor Regression

Florentina Bunea, Seth Strimas-Mackey+1 more|arXiv (Cornell University)|Feb 6, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 7

一句话总结

本文分析了高维因子回归模型中最小范数插值预测器的有限样本预测风险。结果表明，当特征协方差矩阵的有效秩小于样本量时——即使在 $ p \gg n $ 的情况下——该预测器可实现最优风险界，优于LASSO并匹配主成分回归与岭回归，且无需调参。

ABSTRACT

This work studies finite-sample properties of the risk of the minimum-norm interpolating predictor in high-dimensional regression models. If the effective rank of the covariance matrix $Σ$ of the $p$ regression features is much larger than the sample size $n$, we show that the min-norm interpolating predictor is not desirable, as its risk approaches the risk of trivially predicting the response by 0. However, our detailed finite-sample analysis reveals, surprisingly, that this behavior is not present when the regression response and the features are {\it jointly} low-dimensional, following a widely used factor regression model. Within this popular model class, and when the effective rank of $Σ$ is smaller than $n$, while still allowing for $p \gg n$, both the bias and the variance terms of the excess risk can be controlled, and the risk of the minimum-norm interpolating predictor approaches optimal benchmarks. Moreover, through a detailed analysis of the bias term, we exhibit model classes under which our upper bound on the excess risk approaches zero, while the corresponding upper bound in the recent work arXiv:1906.11300 diverges. Furthermore, we show that the minimum-norm interpolating predictor analyzed under the factor regression model, despite being model-agnostic and devoid of tuning parameters, can have similar risk to predictors based on principal components regression and ridge regression, and can improve over LASSO based predictors, in the high-dimensional regime.

研究动机与目标

• 理解在何种高维条件下，最小范数插值预测器在 $ p \gg n $ 的情况下仍能实现低预测风险。
• 探究特征与响应之间的联合结构（而不仅仅是特征的边际协方差）是否决定插值成功的根本原因。
• 在因子回归模型下推导最小范数插值器的有限样本风险界，证明其可实现最优性能。
• 在高维设定下，将插值预测器的风险与岭回归、主成分回归和LASSO的基准进行比较。
• 证明在特定模型类中，预测器的风险趋近于零，而先前的上界却发散。

提出的方法

• 分析广义最小二乘估计量 $ \widehat{\alpha} = \mathbf{X}^{+} \mathbf{y} $，当 $ \mathbf{X} $ 满秩时即为最小范数插值器。
• 采用线性因子模型：$ y = Z^T \beta + \varepsilon $，$ X = A Z + E $，其中包含潜因子 $ Z $，载荷矩阵 $ A $，以及噪声 $ E, \varepsilon $。
• 通过将超额风险分解为偏差与方差两部分，推导有限样本风险界：$ R(\widehat{\alpha}) = \text{bias} + \text{variance} $。
• 应用浓度不等式与伪逆性质，利用 $ \log n $ 和 $ \| \tilde{\mathbf{X}}^{+} \| $（依赖于 $ \tilde{\mathbf{X}} $ 的最小奇异值）来界定方差项。
• 以有效秩 $ r_e(\Sigma_X) $ 作为关键条件：当 $ r_e(\Sigma_X) < c \cdot n $ 时，风险保持可控。
• 建立信噪比 $ \xi = \lambda_K(A\Sigma_Z A^T)/\|\Sigma_E\| $ 的下界，结果表明 $ \xi \gtrsim \min_a |I_a| \cdot \lambda_K(\Sigma_Z)/\|\Sigma_E\| $，确保信号强度足够。

实验结果

研究问题

• RQ1 在特征协方差结构满足何种条件时，最小范数插值预测器在高维设定下（$ p \gg n $）可实现低预测风险？
• RQ2 特征与响应之间的联合依赖关系（而不仅仅是特征的边际结构）是否影响插值预测器的一般化性能？
• RQ3 在高维因子模型中，最小范数插值器是否能在无需调参的情况下实现接近最优基准的风险？
• RQ4 在因子模型的有限样本下，插值预测器的表现与岭回归、主成分回归和LASSO相比如何？
• RQ5 是否存在某些模型类，使得插值器的风险趋近于零，而先前的上界却发散？

主要发现

• 当 $ \Sigma_X $ 的有效秩小于 $ c \cdot n $ 时，最小范数插值预测器的超额风险趋近于最优基准，即使在 $ p \gg n $ 的情况下亦成立。
• 在因子模型下，超额风险的偏差项受到控制；在特定情况下，超额风险的上界趋近于零，而文献[3]中的上界则发散。
• 风险的方差分量受 $ \sigma_\varepsilon^2 \log n \cdot p / \sigma_p^2(\tilde{\mathbf{X}}) $ 限制，当 $ \tilde{\mathbf{X}} $ 的最小奇异值不过小时，该值保持较小。
• 信噪比 $ \xi \geq \min_a |I_a| \cdot \lambda_K(\Sigma_Z)/\|\Sigma_E\| $ 确保了足够强的信号以实现一致预测。
• 该插值预测器具有模型无关性且无需调参，其风险可与岭回归和主成分回归相媲美，并在高维设定下优于LASSO。
• 在噪声和设计矩阵满足次高斯假设的条件下，以至少 $ 1 - c/n $ 的概率，风险界成立。