[论文解读] Prediction regions through Inverse Regression

Émilie Devijver, Émeline Perthame|arXiv (Cornell University)|Jul 9, 2018

Statistical Methods and Inference参考文献 17被引用 8

一句话总结

本文提出了一种反向回归方法，用于高维设置下的多元线性回归，其中预测变量数量超过样本量。通过反转回归角色——建模响应变量给定预测变量——该方法实现了参数的高效估计以及显式的渐近预测区域，在模拟中表现与最小二乘法和正则化方法相当，尤其在变量选择不可行时表现优异。

ABSTRACT

Predict a new response from a covariate is a challenging task in regression, which raises new question since the era of high-dimensional data. In this paper, we are interested in the inverse regression method from a theoretical viewpoint. Theoretical results have already been derived for the well-known linear model, but recently, the curse of dimensionality has increased the interest of practitioners and theoreticians into generalization of those results for various estimators, calibrated for the high-dimension context. To deal with high-dimensional data, inverse regression is used in this paper. It is known to be a reliable and efficient approach when the number of features exceeds the number of observations. Indeed, under some conditions, dealing with the inverse regression problem associated to a forward regression problem drastically reduces the number of parameters to estimate and make the problem tractable. When both the responses and the covariates are multivariate, estimators constructed by the inverse regression are studied in this paper, the main result being explicit asymptotic prediction regions for the response. The performances of the proposed estimators and prediction regions are also analyzed through a simulation study and compared with usual estimators.

研究动机与目标

• 解决当预测变量数量 D 超过样本量 N 时的多元回归挑战，此时由于维度灾难，传统方法失效。
• 构建一个理论基础坚实的反向回归框架，通过反转预测变量与响应变量的角色来降低估计复杂度。
• 在高维设置下，推导多元响应的显式渐近预测区域。
• 与标准估计器（如最小二乘法和Lasso）进行比较，评估该方法在小样本、高维情形下的性能。
• 证明该方法能够在不依赖变量选择的前提下，保持参数估计中的稀疏性和对角结构。

提出的方法

• 建立前向回归模型 Y = A*X + ε，其中 Y ∈ ℝ^L 为多元响应变量，X ∈ ℝ^D 为高维预测变量向量。
• 通过建模条件分布 X|Y 来反转回归问题，利用预测变量与响应变量的联合分布来估计反向回归参数。
• 在对反向模型残差结构施加弱假设的前提下，推导出系数矩阵 A*、逆协方差矩阵 Γ* 和误差协方差矩阵 Σ* 的显式估计量。
• 建立估计量的渐近正态性，并推导出参数的精确或渐近置信区域。
• 基于估计的反向回归模型，构建响应变量 Y 的显式渐近预测区域。
• 通过模拟研究，从覆盖概率、预测误差和计算效率等方面，比较反向回归与最小二乘法及自助Lasso的性能。

实验结果

研究问题

• RQ1 当 D >> N 时，反向回归是否能在高维多元回归中提供可靠且可处理的参数估计？
• RQ2 在多元设置下，反向回归估计量 A*、Γ* 和 Σ* 的渐近性质是什么？
• RQ3 与最小二乘法和Lasso相比，反向回归推导出的预测区域在覆盖概率和准确性方面表现如何？
• RQ4 反向回归是否能保持真实参数矩阵中的稀疏性和对角结构等结构特征？
• RQ5 在有限样本下，特别是当样本量相对于预测变量数量较小时，该方法表现如何？

主要发现

• 反向回归生成的预测区域在覆盖概率方面与最小二乘法和自助Lasso相当，尤其在样本量适中（N=500）且协变量配置接近均值时表现优异。
• 当协变量配置远离均值时（例如分位数 0.2 或 0.35），反向回归的预测区域仍保持稳定且校准良好，而自助Lasso则无法维持覆盖概率。
• 该方法能准确恢复真实 Γ* 和 Σ* 矩阵的对角结构，估计量在对角线上表现出适当的变异性。
• 反向回归对系数矩阵 A* 的估计部分恢复了真实稀疏结构，小提琴图的分布中心围绕真实非零值。
• 预测误差普遍较小，第二维响应的预测精度高于第一维，原因在于其在 Σ* 中的残差方差更低。
• 即使在高维设置下，反向回归的计算时间仍保持合理，使其在无法进行变量选择时成为正则化方法的实用替代方案。