[论文解读] Faithful Variable Screening for High-Dimensional Convex Regression

Min Xu, Minhua Chen+1 more|arXiv (Cornell University)|Nov 7, 2014

Statistical Methods and Inference参考文献 26被引用 4

一句话总结

本文提出一种两阶段二次规划方法，用于高维凸回归中的忠实变量筛选，通过引入加法模型与残差凹性拟合，实现可证明的无假阴性。该方法在温和假设下确保变量选择的一致性，并通过避免光滑性调参，在计算与统计性能上优于全模型拟合。

ABSTRACT

We study the problem of variable selection in convex nonparametric regression. Under the assumption that the true regression function is convex and sparse, we develop a screening procedure to select a subset of variables that contains the relevant variables. Our approach is a two-stage quadratic programming method that estimates a sum of one-dimensional convex functions, followed by one-dimensional concave regression fits on the residuals. In contrast to previous methods for sparse additive models, the optimization is finite dimensional and requires no tuning parameters for smoothness. Under appropriate assumptions, we prove that the procedure is faithful in the population setting, yielding no false negatives. We give a finite sample statistical analysis, and introduce algorithms for efficiently carrying out the required quadratic programs. The approach leads to computational and statistical advantages over fitting a full model, and provides an effective, practical approach to variable screening in convex regression.

研究动机与目标

• 解决高维非参数回归中在凸性约束下的变量选择挑战。
• 开发一种计算高效且统计一致的方法，用于识别稀疏凸回归中的相关变量。
• 克服现有方法存在的假阴性问题或对光滑性参数调优的依赖。
• 在总体与有限样本设定下，建立变量选择一致性的理论保证。
• 提供可扩展的算法，用于求解高维场景下的所需凸二次规划问题。

提出的方法

• 制定两阶段二次规划流程：首先通过带稀疏性惩罚的凸加法模型估计一维凸函数之和。
• 在第二阶段，对每个变量的残差执行一维凹回归，以检测相关分量。
• 使用块坐标下降法高效求解所得的凸优化问题。
• 确保优化过程为有限维，且无需光滑性参数调优。
• 利用凸性结构特性实现加法忠实性，即在加法模型上的变量选择可保留所有相关变量。
• 将该方法应用于真实数据（波士顿房价）及具有相关设计的模拟场景，以验证性能。

实验结果

研究问题

• RQ1 两阶段凸优化流程是否能在高维凸回归中实现无假阴性的忠实变量选择？
• RQ2 在协变量分布的温和正则性条件下，该方法在有限样本中是否保持统计一致性？
• RQ3 该方法是否能在无需光滑性参数调优的前提下，有效扩展至高维场景？
• RQ4 与LASSO及其他稀疏加法模型相比，该方法在预测准确率与变量恢复能力方面表现如何？
• RQ5 两阶段结构——先进行凸拟合，再进行残差凹性拟合——是否为实现忠实筛选所必需且充分？

主要发现

• 所提方法在总体设定下实现忠实变量选择，在协变量密度的温和假设下保证无假阴性。
• 有限样本分析表明，变量筛选一致性的统计速率存在上界，支持该方法在实际应用中的可靠性。
• 模拟结果表明，即使在设计矩阵中存在中等程度相关性，该方法仍表现良好，恢复曲线在各类相关性水平下均显示强劲性能。
• 在波士顿房价数据集中，AC/DC与LASSO识别出相同的前三个变量（LSTAT、RM、PTRATIO），并在更高正则化水平下识别出第四个变量（INDUS）。
• 使用选中变量重构的模型揭示了清晰的非线性效应，包括PTRATIO的凹形关系，与SpAM结果一致，而线性模型无法捕捉此类关系。
• 交叉验证结果表明，AC/DC的预测均方误差低于LASSO，且性能与AFR相当，但无需光滑性参数或迭代优化。