[论文解读] A Novel M-Estimator for Robust PCA

Teng Zhang, Gilad Lerman|arXiv (Cornell University)|Dec 20, 2011

Sparse and Compressive Sensing Techniques参考文献 90被引用 95

一句话总结

该论文提出了一种用于鲁棒主成分分析（PCA）的新M-估计器，通过基于鲁棒逆样本协方差的凸能量函数最小化，实现了精确子空间恢复。该方法采用具有线性收敛速度的迭代重新加权最小二乘法（IRLS），在合成数据和真实数据上均优于现有方法，在速度和精度方面表现更优，且在对内点和异常点分布的弱条件下提供了理论保证。

ABSTRACT

We study the basic problem of robust subspace recovery. That is, we assume a data set that some of its points are sampled around a fixed subspace and the rest of them are spread in the whole ambient space, and we aim to recover the fixed underlying subspace. We first estimate "robust inverse sample covariance" by solving a convex minimization procedure; we then recover the subspace by the bottom eigenvectors of this matrix (their number correspond to the number of eigenvalues close to 0). We guarantee exact subspace recovery under some conditions on the underlying data. Furthermore, we propose a fast iterative algorithm, which linearly converges to the matrix minimizing the convex problem. We also quantify the effect of noise and regularization and discuss many other practical and theoretical issues for improving the subspace recovery in various settings. When replacing the sum of terms in the convex energy function (that we minimize) with the sum of squares of terms, we obtain that the new minimizer is a scaled version of the inverse sample covariance (when exists). We thus interpret our minimizer and its subspace (spanned by its bottom eigenvectors) as robust versions of the empirical inverse covariance and the PCA subspace respectively. We compare our method with many other algorithms for robust PCA on synthetic and real data sets and demonstrate state-of-the-art speed and accuracy.

研究动机与目标

• 开发一种可证明鲁棒且凸的子空间恢复方法，对异常值和噪声不敏感。
• 通过使用逆样本协方差的凸松弛，克服子空间估计中Grassmann流形的非凸性。
• 通过用基于原理的M-估计器框架替代启发式惩罚项，消除调参需求。
• 确保迭代算法的线性收敛性，并提供子空间恢复的理论保证。
• 在合成数据和真实世界数据集上，与现有鲁棒PCA方法相比，展示出优越性能。

提出的方法

• 通过最小化一个凸能量函数来估计鲁棒逆样本协方差矩阵，该函数使用具有非二次损失函数的M-估计器对大残差进行降权。
• 从鲁棒逆协方差矩阵的最小特征值对应的特征向量中恢复潜在子空间。
• 提出一种迭代重新加权最小二乘法（IRLS）算法，线性收敛至凸能量函数的最小值点。
• 该算法在每次迭代中将数据投影到当前的子空间估计上，并求解一个降维子问题，从而提高计算效率。
• 该方法引入正则化，并量化其对噪声鲁棒性和子空间恢复精度的影响。
• 理论分析表明，在对内点和异常点分布的弱假设下可实现精确子空间恢复，包括有界内点幅值和稀疏异常点结构。

实验结果

研究问题

• RQ1 能否设计一种凸M-估计器用于鲁棒PCA，避免任意参数调优并确保精确子空间恢复？
• RQ2 如何将非凸的子空间估计问题有效松弛为凸优化框架？
• RQ3 对于求解凸最小化问题的迭代算法，可建立何种收敛保证？
• RQ4 在真实和合成数据上，该方法与现有鲁棒PCA算法相比，在准确性和速度上的表现如何？
• RQ5 在何种内点和异常点分布假设下，该方法可实现精确子空间恢复？

主要发现

• 所提出的M-估计器在弱条件下（包括有界内点幅值和稀疏异常点）可实现精确子空间恢复，即使在高维设置下亦成立。
• IRLS算法线性收敛至凸最小化问题的解，确保计算快速且稳定。
• 该方法在合成数据和真实世界数据集（包括人脸和运动数据）上，均优于最先进鲁棒PCA算法，在速度和精度方面表现更优。
• 由M-估计器导出的鲁棒逆协方差矩阵是经典经验逆协方差的鲁棒对应物，其最小特征向量可提供鲁棒PCA子空间。
• 理论分析证实，该方法对单个极端离群点不敏感，而标准L1-基估计器可能被大幅值异常点误导。
• 该框架可理论扩展至多子空间和混合噪声模型，表明其在单子空间恢复之外具有广泛适用性。