[论文解读] Interpolation under latent factor regression models

Florentina Bunea, Seth Strimas-Mackey+1 more|arXiv (Cornell University)|Feb 6, 2020

Matrix Theory and Algorithms被引用 8

一句话总结

本文在潜在因子模型下分析了高维回归中最小范数插值预测器的有限样本风险。结果表明，当特征和响应变量联合低秩时，即使在 $p \gg n$ 的情况下，该预测器仍能实现接近最优的风险，优于以往的界，并与主成分回归等模型辅助方法表现相当。

ABSTRACT

This work studies finite-sample properties of the risk of the minimum-norm interpolating predictor in high-dimensional regression models. If the effective rank of the covariance matrix $\Sigma$ of the $p$ regression features is much larger than the sample size $n$, we show that the min-norm interpolating predictor is not desirable, as its risk approaches the risk of trivially predicting the response by $0$. However, our detailed finite sample analysis reveals, surprisingly, that this behavior is not present when the regression response and the features are jointly low-dimensional, and follow a widely used factor regression model. Within this popular model class, and when the effective rank of $\Sigma$ is smaller than $n$, while still allowing for $p \gg n$, both the bias and the variance terms of the excess risk can be controlled, and the risk of the minimum-norm interpolating predictor approaches optimal benchmarks. Moreover, through a detailed analysis of the bias term, we exhibit model classes under which our upper bound on the excess risk approaches zero, while the corresponding upper bound in the recent work arXiv:1906.11300v3 diverges. Furthermore, we show that minimum-norm interpolating predictors analyzed under factor regression models, despite being model-agnostic, can have similar risk to model-assisted predictors based on principal components regression, in the high-dimensional regime.

研究动机与目标

• 理解最小范数插值预测器在高维回归中的有限样本行为。
• 研究当特征数量 $p$ 超过样本量 $n$ 时，此类预测器是否仍保持有效性。
• 考察最小范数插值器风险趋近最优基准的条件。
• 将无模型依赖的最小范数预测器与主成分回归等模型辅助方法的性能进行比较。
• 解决本研究与先前文献（如 arXiv:1906.11300v3）之间风险界差异的问题。

提出的方法

• 在潜在因子回归模型下，分析偏差与方差分量的超额风险分解。
• 将特征协方差矩阵 $\Sigma$ 的有效秩作为关键结构参数。
• 推导最小范数插值预测器超额风险的有限样本上界。
• 建立偏差项消失的条件，即使在 $p \gg n$ 的情况下亦成立。
• 将所得风险界与先前工作（特别是 arXiv:1906.11300v3）进行比较。
• 证明最小范数预测器在无需显式模型拟合的情况下，能达到与主成分回归相近的风险。

实验结果

研究问题

• RQ1 在何种条件下，最小范数插值预测器在 $p \gg n$ 时仍能保持低风险？
• RQ2 特征协方差矩阵 $\Sigma$ 的有效秩如何影响最小范数插值器的风险？
• RQ3 在高维设置下，最小范数插值器能否实现接近最优基准的风险？
• RQ4 为何本研究的超额风险界在某些模型类中趋近于零，而 arXiv:1906.11300v3 的界却发散？
• RQ5 无模型依赖的最小范数预测器与主成分回归等模型辅助方法相比，性能如何？

主要发现

• 当 $\Sigma$ 的有效秩小于 $n$ 时，最小范数插值预测器的超额风险趋近于最优基准。
• 在联合低秩因子模型中，即使 $p \gg n$，超额风险的偏差与方差项均可得到有效控制。
• 在某些模型类中，偏差项可被驱动至零，而 arXiv:1906.11300v3 中的上界在相同条件下却发散。
• 尽管是无模型依赖的，最小范数插值器的风险在高维情形下与主成分回归相当。
• 仅当 $\Sigma$ 的有效秩远大于 $n$ 时，预测器的风险才趋近于预测零的风险，而这一情况在低秩假设下被避免。