[论文解读] High-dimensional regression with noisy and missing data: Provable guarantees with nonconvexity

Po‐Ling Loh, Martin J. Wainwright|ScholarlyCommons (University of Pennsylvania)|Sep 16, 2011

Sparse and Compressive Sensing Techniques参考文献 23被引用 51

一句话总结

该论文提出了一种非凸优化框架，用于在存在噪声、缺失或依赖性数据的高维稀疏线性回归问题中，通过投影梯度下降实现统计精度。证明了即使目标函数为非凸，该算法仍能以几何速率收敛至全局最优解的邻域，且误差界匹配极小极大率。

ABSTRACT

Although the standard formulations of prediction problems involve fully-observed and noiseless data drawn in an i.i.d. manner, many applications involve noisy and/or missing data, possibly involving dependence, as well. We study these issues in the context of high-dimensional sparse linear regression, and propose novel estimators for the cases of noisy, missing and/or dependent data. Many standard approaches to noisy or missing data, such as those using the EM algorithm, lead to optimization problems that are inherently nonconvex, and it is difficult to establish theoretical guarantees on practical algorithms. While our approach also involves optimizing nonconvex programs, we are able to both analyze the statistical error associated with any global optimum, and more surprisingly, to prove that a simple algorithm based on projected gradient descent will converge in polynomial time to a small neighborhood of the set of all global minimizers. On the statistical side, we provide nonasymptotic bounds that hold with high probability for the cases of noisy, missing and/or dependent data. On the computational side, we prove that under the same types of conditions required for statistical consistency, the projected gradient descent algorithm is guaranteed to converge at a geometric rate to a near-global minimizer. We illustrate these theoretical predictions with simulations, showing close agreement with the predicted scalings.

研究动机与目标

• 解决协变量受噪声、缺失或依赖性影响时的高维稀疏线性回归挑战。
• 在这些数据问题下，开发保持统计一致性的估计器，且其性能匹配经典极小极大率。
• 在非凸性存在的情况下，为优化算法提供可证明的收敛性保证。
• 将该框架扩展至存在缺失数据的稀疏高斯图形模型选择问题。
• 确保在次高斯或弱依赖数据假设下，理论保证依然成立。

提出的方法

• 为受污染协变量的高维回归问题构建一个 $β$-约束的 $\ell_1$-正则化 M-估计器。
• 使用投影梯度下降优化非凸目标函数，并保证收敛至接近全局最小值的解。
• 通过一种新颖的分析方法，结合统计误差与优化误差的分解，建立误差界。
• 利用损失函数在次高斯或弱依赖设计下的限制强凸性与光滑性性质。
• 通过建模似然函数并在损失函数中校正缺失性，将该框架应用于缺失数据问题。
• 证明在确保统计一致性的条件下，算法可实现几何收敛。

实验结果

研究问题

• RQ1 对于高维回归的非凸优化方法，在数据存在噪声或缺失时，是否仍能保持统计准确性？
• RQ2 在非凸目标函数下，投影梯度下降是否能收敛至全局最优解的统计精度范围内的解？
• RQ3 设计矩阵需满足何种条件，才能同时保证统计一致性和优化算法的快速收敛？
• RQ4 所提出的方法能否在协变量受污染或缺失的回归问题中实现极小极大最优误差率？
• RQ5 该方法在存在缺失数据的高维图形模型选择问题中如何扩展？

主要发现

• 投影梯度下降以几何速率收敛至全局最小值的邻域，收敛速率取决于统计误差。
• 在 i.i.d. 次高斯设计下，估计器的统计误差匹配极小极大率，即使在存在噪声或缺失数据的情况下亦成立。
• 对于存在缺失数据的高维稀疏线性回归，该方法以高概率实现 $\ell_2$-误差为 $\mathcal{O}(\sqrt{k \log p / n})$ 的水平。
• 在确保统计一致性的相同条件下，该算法可保证在多项式时间内收敛。
• 该框架可扩展至存在缺失数据的稀疏高斯图形模型选择问题，实现与 i.i.d. 数据下相当的谱范数误差率。
• 复合容差参数 $\varepsilon^2$ 被有界于 $\mathcal{O}(\|\widehat{\beta} - \beta^*\|_2^2)$，从而确保收敛至统计精度。