[论文解读] Graph-based regularization for regression problems with alignment and highly-correlated designs

Yuan Li, Benjamin Mark+4 more|arXiv (Cornell University)|Mar 20, 2018

Statistical Methods and Inference参考文献 61被引用 4

一句话总结

本文提出了一种基于图的总变差（GTV）正则化方法，用于处理特征设计矩阵高度相关时的高维线性回归问题，通过协方差图将特征相关性与回归系数相似性对齐。该方法在包括块图和格子图在内的多种图结构下均实现了最优的均方误差保证，并在合成数据和真实生物化学数据上优于现有方法。

ABSTRACT

Sparse models for high-dimensional linear regression and machine learning have received substantial attention over the past two decades. Model selection, or determining which features or covariates are the best explanatory variables, is critical to the interpretability of a learned model. Much of the current literature assumes that covariates are only mildly correlated. However, in many modern applications covariates are highly correlated and do not exhibit key properties (such as the restricted eigenvalue condition, restricted isometry property, or other related assumptions). This work considers a high-dimensional regression setting in which a graph governs both correlations among the covariates and the similarity among regression coefficients -- meaning there is \emph{alignment} between the covariates and regression coefficients. Using side information about the strength of correlations among features, we form a graph with edge weights corresponding to pairwise covariances. This graph is used to define a graph total variation regularizer that promotes similar weights for correlated features. This work shows how the proposed graph-based regularization yields mean-squared error guarantees for a broad range of covariance graph structures. These guarantees are optimal for many specific covariance graphs, including block and lattice graphs. Our proposed approach outperforms other methods for highly-correlated design in a variety of experiments on synthetic data and real biochemistry data.

研究动机与目标

• 解决当设计矩阵中特征间存在高度相关性、违反标准正则性假设（如受限 eigenvalue 条件）时的高维回归挑战。
• 通过引入关于特征相关性和系数相似性的结构化辅助信息，克服高度相关设计下的可识别性问题。
• 构建一种正则化框架，利用基于成对协方差导出的图结构，促进在相关特征间估计系数的平滑性。
• 在一种新型对齐条件（将特征相关性结构与系数结构关联）下，建立所提方法的理论均方误差保证。
• 在具有高度相关特征的合成数据和真实世界生物化学数据集上，展示该方法在预测精度上相对于现有方法的实证优越性。

提出的方法

• 从设计矩阵的经验协方差矩阵构建加权图，其中边权重表示特征之间的成对协方差。
• 定义图总变差（GTV）正则项，惩罚图中相连节点间回归系数的差异，从而在相关特征间促进系数相似性。
• 将优化问题表述为带有 GTV 惩罚项的正则化最小二乘回归，以实现稀疏且结构化的系数估计。
• 引入一个对齐条件，确保真实系数向量 β* 与特征相关性所对应的图结构保持一致，从而解决可识别性问题。
• 在对齐条件下推导 GTV 估计器的理论均方误差界，证明其在块图和格子图结构下的最优性。
• 在附录中将框架扩展至逻辑回归，表明其在非高斯噪声模型下的广泛适用性。

实验结果

研究问题

• RQ1 当特征高度相关且标准正则性条件不成立时，基于图的正则化是否能提升高维回归中的估计精度？
• RQ2 将协方差导出的图结构融入正则化过程，如何影响估计器的理论误差界？
• RQ3 特征相关性结构与系数结构之间的对齐程度在多大程度上提升了模型的可识别性和性能？
• RQ4 GTV 估计器在不同类型的图结构协方差矩阵下的理论均方误差保证是什么？
• RQ5 在具有高度相关特征的合成数据和真实世界数据集上，该方法在预测精度方面与现有方法相比如何？

主要发现

• 所提出的图总变差（GTV）正则化方法在包括块图和格子图在内的广泛协方差图结构类别中，实现了最优的均方误差率。
• 理论分析表明，在所提出的对齐条件下，GTV 估计器即使在设计矩阵不满足受限 eigenvalue 或无损性条件时，仍能达到极小极大最优误差率。
• 在合成数据上的实证结果表明，当特征高度相关时，GTV 显著优于 Lasso、组 Lasso 和融合 Lasso 的估计精度。
• 在包含 242 个嵌合 P450 蛋白质的真实生物化学数据上，GTV 在预测误差和系数恢复方面优于基线方法，尤其在特征高度相关时表现更优。
• 该方法有效利用了关于特征相关性的辅助信息，提升了高维设置下模型的可解释性和鲁棒性。
• 附录中对逻辑回归的扩展表明，GTV 框架可适用于非高斯响应模型，从而拓宽了其实际应用范围。