[论文解读] Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data

Yuxin Chen, Jianqing Fan+2 more|arXiv (Cornell University)|Jan 15, 2020

Sparse and Compressive Sensing Techniques参考文献 78被引用 4

一句话总结

该论文通过将凸松弛方法与辅助非凸优化框架相结合，在随机噪声、严重异常值和缺失数据条件下，为凸鲁棒主成分分析（PCA）建立了近最优的统计保证。证明表明，在温和条件下，该凸规划在Frobenius范数和ℓ∞范数下均达到近乎极小极大最优的误差率，即使几乎恒定比例的条目被任意程度的异常值破坏，依然成立。

ABSTRACT

This paper delivers improved theoretical guarantees for the convex programming approach in low-rank matrix estimation, in the presence of (1) random noise, (2) gross sparse outliers, and (3) missing data. This problem, often dubbed as robust principal component analysis (robust PCA), finds applications in various domains. Despite the wide applicability of convex relaxation, the available statistical support (particularly the stability analysis vis-à-vis random noise) remains highly suboptimal, which we strengthen in this paper. When the unknown matrix is well-conditioned, incoherent, and of constant rank, we demonstrate that a principled convex program achieves near-optimal statistical accuracy, in terms of both the Euclidean loss and the $\ell_{\infty}$ loss. All of this happens even when nearly a constant fraction of observations are corrupted by outliers with arbitrary magnitudes. The key analysis idea lies in bridging the convex program in use and an auxiliary nonconvex optimization algorithm, and hence the title of this paper.

研究动机与目标

• 填补现有研究在随机噪声下凸鲁棒PCA理论分析中的空白，其中既有的稳定性分析结果次优。
• 在数据受随机噪声、严重稀疏异常值和缺失条目影响时，为低秩矩阵估计提供改进的统计保证。
• 证明即使恒定比例的观测值被任意幅值的异常值破坏，凸松弛方法仍能实现近最优的恢复精度。
• 通过将凸松弛分析与辅助非凸优化过程相结合，推导出更紧致的误差界。
• 在底层低秩矩阵满足良好条件、非相干性及恒定秩的假设下，建立Frobenius范数与ℓ∞范数的误差保证。

提出的方法

• 提出一种基于核范数与稀疏分量ℓ1-范数之和最小化的系统性凸规划，其约束条件为在已观测条目上保持数据一致性。
• 采用留一法分析框架，研究用作凸解代理的非凸优化过程的收敛性与稳定性。
• 通过扰动界分析迭代值之间的差异，建立凸解与非凸解之间的等价性。
• 应用概率论与随机矩阵理论工具，控制在次高斯噪声与稀疏污染下的估计误差行为。
• 首先推导凸松弛的粗略误差界，并通过非凸算法分析进行精化，从而获得更紧致的统计保证。
• 利用优化问题的结构，证明真实分量与估计分量之间的差异在ℓ∞范数与Frobenius范数下均较小。

实验结果

研究问题

• RQ1 在随机噪声、严重异常值和缺失数据条件下，鲁棒PCA中的凸松弛方法能否实现近最优的统计精度？
• RQ2 在存在任意幅值稀疏异常值与次高斯噪声的情况下，凸松弛可实现的最紧误差界是什么？
• RQ3 如何通过非凸分析缩小凸鲁棒PCA中理论保证与实际性能之间的差距？
• RQ4 当几乎恒定比例的条目被破坏时，凸规划在多大程度上仍能保持稳定性和准确性？
• RQ5 在何种条件下，凸解能近似于非凸优化过程的解？

主要发现

• 在次高斯噪声下，该凸规划在Frobenius范数下的误差率接近最优，为$\sqrt{r(n_1+n_2)\log n}/n$量级，与极小极大下界仅相差对数因子。
• ℓ∞范数误差界同样接近最优，每个条目的误差按$\sqrt{\log n}/n$缩放，即使恒定比例的条目被严重破坏也成立。
• 当被破坏条目的比例趋近于常数时，该方法仍保持稳定与准确，前提是异常值矩阵稀疏且低秩矩阵具有非相干性。
• 分析表明，凸松弛解位于真实低秩矩阵的一个小邻域内，误差通过留一法技术得到控制。
• 在温和假设下，证明了凸解与非凸解之间的等价性，表明非凸算法可用于分析凸解。
• 结果在条件$n^2 p \rho_{\text{aug}} \gg \mu r n \log n$下成立，确保了足够采样以实现稳定恢复。