[论文解读] CoCoLasso for High-dimensional Error-in-variables Regression

Abhirup Datta, Hui Zou|arXiv (Cornell University)|Oct 24, 2015

Statistical Methods and Inference参考文献 23被引用 6

一句话总结

本文提出 CoCoLasso，一种用于高维错误变量回归的凸优化方法，通过构建设计矩阵和响应向量的无偏代理变量来处理加法性测量误差和缺失数据。该方法建立了估计误差界和符号一致的选择性，并引入了一种校正的交叉验证技术以减轻测量误差带来的偏差，在模拟中表现优于非凸替代方法。

ABSTRACT

Much theoretical and applied work has been devoted to high-dimensional regression with clean data. However, we often face corrupted data in many applications where missing data and measurement errors cannot be ignored. Loh and Wainwright (2012) proposed a non-convex modification of the Lasso for doing high-dimensional regression with noisy and missing data. It is generally agreed that the virtues of convexity contribute fundamentally the success and popularity of the Lasso. In light of this, we propose a new method named CoCoLasso that is convex and can handle a general class of corrupted datasets including the cases of additive measurement error and random missing data. We establish the estimation error bounds of CoCoLasso and its asymptotic sign-consistent selection property. We further elucidate how the standard cross validation techniques can be misleading in presence of measurement error and develop a novel corrected cross-validation technique by using the basic idea in CoCoLasso. The corrected cross-validation has its own importance. We demonstrate the superior performance of our method over the non-convex approach by simulation studies.

研究动机与目标

• 解决标准 Lasso 在应用于受测量误差或缺失值影响的高维数据时的局限性。
• 开发一种保持 Lasso 优良性质的同时对数据污染具有鲁棒性的凸方法。
• 校正标准交叉验证在高维设置下因测量误差导致的偏差。
• 为所提方法建立理论保证，包括估计误差界和符号一致的选择性。
• 通过模拟证明 CoCoLasso 在估计精度和变量选择方面优于非凸替代方法（如 Loh 和 Wainwright 的方法）。

提出的方法

• CoCoLasso 使用无偏代理变量 $\widehat{\Sigma} = \frac{1}{n}Z^\top Z - \tau^2 I$ 和 $\tilde{\rho} = \frac{1}{n}Z^\top y$ 替代 Lasso 目标函数中的真实 $X^\top X$ 和 $X^\top y$，其中 $Z$ 为被污染的设计矩阵，$\tau^2$ 为已知误差方差。
• 该方法将问题表述为一个凸优化问题：$\min \frac{1}{2}\beta^\top \widehat{\Sigma}\beta - \tilde{\rho}^\top \beta + \lambda \|\beta\|_1$，确保凸性与全局最优性。
• 采用基于 ADMM 的算法，通过交替更新 $A_{i+1}$、$B_{i+1}$ 和 $\Lambda_{i+1}$，并使用软阈值算子实现稀疏性。
• 通过 $\epsilon$-正则化投影 $A_{i+1} = (B_i + \widehat{\Sigma} + \mu\Lambda_i)_\epsilon$ 引入正定性约束，以保持凸性。
• 通过将测量误差模型整合到验证过程中，提出一种新颖的校正交叉验证技术，避免了朴素 CV 带来的误导性结果。
• 理论分析假设误差服从次高斯分布，并利用浓度不等式推导出估计误差的高概率界。

实验结果

研究问题

• RQ1 能否为在测量误差和缺失数据下的高维回归问题开发一种凸公式，同时保留 Lasso 的统计与计算优势？
• RQ2 在加法性测量误差下，CoCoLasso 的估计误差如何随样本量、维度和噪声水平变化？
• RQ3 即使设计矩阵被污染，CoCoLasso 是否能在高维渐近下实现符号一致的选择？
• RQ4 标准交叉验证在测量误差存在时为何失效？能否基于 CoCoLasso 框架构建一种校正版本？
• RQ5 在有限样本下，CoCoLasso 相较于非凸替代方法（如 Loh 和 Wainwright 的方法）的实证性能如何？

主要发现

• 在次高斯噪声和已知测量误差方差下，CoCoLasso 实现了非渐近估计误差界 $O(\sqrt{s \log p / n})$。
• 该方法以高概率确保符号一致的选择，即在高维设置下能正确识别非零系数的符号。
• 基于 CoCoLasso 框架推导出的校正交叉验证可防止由测量误差引起的过拟合和选择偏差，而标准 CV 则不能。
• 模拟研究显示，CoCoLasso 在估计精度和变量选择方面均优于非凸的 Loh-Wainwright 方法，尤其在高噪声和缺失数据条件下表现更优。
• 基于 ADMM 的 CoCoLasso 算法收敛稳定且保持凸性，避免了先前非凸方法存在的非凸性和无界性问题。
• 理论结果在一般次高斯误差假设下成立，且利用浓度不等式界定了代理统计量与其真实值之间的偏差。