[论文解读] Fast Algorithms for Robust PCA via Gradient Descent

Xinyang Yi, Dohyung Park+2 more|arXiv (Cornell University)|May 25, 2016

Sparse and Compressive Sensing Techniques参考文献 4被引用 138

一句话总结

本文提出一种用于鲁棒PCA的非凸、基于梯度下降的方法，适用于完全观测和部分观测数据，在保持鲁棒性保证的同时实现更快的运行时间。

ABSTRACT

We consider the problem of Robust PCA in the fully and partially observed settings. Without corruptions, this is the well-known matrix completion problem. From a statistical standpoint this problem has been recently well-studied, and conditions on when recovery is possible (how many observations do we need, how many corruptions can we tolerate) via polynomial-time algorithms is by now understood. This paper presents and analyzes a non-convex optimization approach that greatly reduces the computational complexity of the above problems, compared to the best available algorithms. In particular, in the fully observed case, with $r$ denoting rank and $d$ dimension, we reduce the complexity from $\mathcal{O}(r^2d^2\log(1/\varepsilon))$ to $\mathcal{O}(rd^2\log(1/\varepsilon))$ -- a big savings when the rank is big. For the partially observed case, we show the complexity of our algorithm is no more than $\mathcal{O}(r^4d \log d \log(1/\varepsilon))$. Not only is this the best-known run-time for a provable algorithm under partial observation, but in the setting where $r$ is small compared to $d$, it also allows for near-linear-in-$d$ run-time that can be exploited in the fully-observed case as well, by simply running our algorithm on a subset of the observations.

研究动机与目标

• 在缺失和污染条目的情况下，将鲁棒PCA作为一种可扩展的替代SVD-based PCA的动机。
• 开发一个两阶段算法，首先初始化，然后在稀疏性约束下对一个低秩分解进行细化。
• 将该方法扩展到部分观测，以在不牺牲鲁棒性的前提下处理擦除。
• 在初始化质量、收敛性和样本复杂度方面提供理论保证。
• 展示在实践中的性能提升，相对于凸方法和先前的非凸方法。

提出的方法

• 将鲁棒PCA表述为 Y = M* + S*，其中 M* 低秩且 S* 稀疏，满足确定性或随机污染模型。
• 引入一个两阶段算法：(i) 稀疏估计器用于初始化 S_init，以及 Y - S_init 的秩-rSVD 用于初始化 (U0, V0)；(ii) 在因子化空间上的投影梯度法，结合稀疏感知更新。
• 定义一个稀疏化算子 T_alpha[A]，保留在其行和列中都属于前 alpha 分数的元素。
• 在因子 U,V 上使用梯度更新，并加入正则化项以强制 U^T U ≈ V^T V，并投影到不相干性约束集合，以及在每次迭代中加入一个稀疏估计器 S_t。
• 对于部分观测，将损失修改为在观测项上操作，并将稀疏化算子调整到观测支撑上，保持收敛性保证。

实验结果

研究问题

• RQ1 一个非凸梯度下降方法在鲁棒PCA中在强污染和缺失数据下是否能够恢复低秩分量？
• RQ2 在完全观测设置下，初始化和步长条件是什么，能否保证线性收敛？
• RQ3 如何在不提高计算成本的前提下，将鲁棒性保证扩展到部分观测（擦除）？
• RQ4 在完全观测和部分观测条件下的样本和时间复杂度是多少，与凸松弛方法相比如何？
• RQ5 子采样是否能在低秩场景下实现近线性时间性能，同时保持鲁棒性？

主要发现

• 所提出的算法在完全观测情形下的鲁棒恢复复杂度为 O(r d^2 log(1/ε))，相比以往方法有改进。
• 在合适的初始化和参数下，梯度迭代以收缩因子 O(1/κ) 线性收敛，需要 O(κ log(1/ε)) 次迭代达到 ε 精度。
• 在部分观测情形下，方法在观测项数为 O(μ^2 r^2 d log d) 时可成功，运行时间为 O(μ^3 r^4 d log d log(1/ε))，当 r 较小时在 d 上近线性。
• 推论表明对于一般矩形矩阵的精确矩阵完成可在 O(μ^2 r^2 d log d) 的样本及 O(μ^3 r^4 d log d log(1/ε)) 的时间内实现，相较于部分先前结果有所改进。
• 在某些情形下，该方法的运行时间与 SVD 相近并在速度和鲁棒性方面超越 AltProj 与凸 IALM，实验结果中。
• 对合成数据及视频前景-背景分离的经验结果显示收敛更快、分离质量更好，且数据子采样时尤为明显。