[论文解读] Dual Principal Component Pursuit

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|Oct 15, 2015

Sparse and Compressive Sensing Techniques参考文献 62被引用 7

一句话总结

本文提出双主成分追踪（DPCP），一种在球面上进行非凸ℓ₁最小化的方法，用于从受异常值污染的数据中鲁棒地估计线性子空间。通过递归求解线性规划以寻找内点子空间的法向量，DPCP 能够有限步内收敛至全局最优解，尤其在高相对维数子空间及高达70%异常值的情况下表现优异，优于当前最先进的方法，在合成数据和计算机视觉实验中均表现出色。

ABSTRACT

We consider the problem of learning a linear subspace from data corrupted by outliers. Classical approaches are typically designed for the case in which the subspace dimension is small relative to the ambient dimension. Our approach works with a dual representation of the subspace and hence aims to find its orthogonal complement; as such, it is particularly suitable for subspaces whose dimension is close to the ambient dimension (subspaces of high relative dimension). We pose the problem of computing normal vectors to the inlier subspace as a non-convex $\ell_1$ minimization problem on the sphere, which we call Dual Principal Component Pursuit (DPCP) problem. We provide theoretical guarantees under which every global solution to DPCP is a vector in the orthogonal complement of the inlier subspace. Moreover, we relax the non-convex DPCP problem to a recursion of linear programs whose solutions are shown to converge in a finite number of steps to a vector orthogonal to the subspace. In particular, when the inlier subspace is a hyperplane, the solutions to the recursion of linear programs converge to the global minimum of the non-convex DPCP problem in a finite number of steps. We also propose algorithms based on alternating minimization and iteratively re-weighted least squares, which are suitable for dealing with large-scale data. Experiments on synthetic data show that the proposed methods are able to handle more outliers and higher relative dimensions than current state-of-the-art methods, while experiments in the context of the three-view geometry problem in computer vision suggest that the proposed methods can be a useful or even superior alternative to traditional RANSAC-based approaches for computer vision and other applications.

研究动机与目标

• 解决现有鲁棒PCA方法在高相对维数子空间（d/D ≈ 1）下失效的局限性。
• 提出一种对偶形式，通过估计内点子空间的正交补而非直接估计子空间本身。
• 在较弱条件下，为DPCP公式的全局最优性提供理论保证。
• 通过线性规划的递归设计一种有限收敛算法，避免陷入局部极小值。

提出的方法

• 将问题表述为在单位球面上的非凸ℓ₁最小化，以寻找内点子空间的法向量。
• 引入线性规划的递归方法以松弛非凸问题，确保有限步内收敛至全局最优解。
• 使用归一化约束bᵀb = 1和对偶约束bᵀn̂ₖ = 1，以保持稳定性并避免平凡解。
• 在大规模数据应用中采用交替最小化和迭代重新加权最小二乘法（IRLS）。
• 证明：任何与数据矩阵中D−1个线性无关点正交的解均为最优解，并可实现有限收敛。
• 将该方法应用于三视角几何问题，利用三焦点张量，展示了在计算机视觉中的鲁棒性。

实验结果

研究问题

• RQ1 对偶形式的PCA是否能在内点接近满维的高相对维数子空间中超越标准方法？
• RQ2 在何种条件下，非凸DPCP问题能保证其全局解位于内点子空间的正交补空间中？
• RQ3 线性规划的递归能否有限步收敛至非凸DPCP问题的全局最小值？
• RQ4 在合成数据和真实世界场景中，该方法在极端异常值比例（如70%异常值）下表现如何？
• RQ5 DPCP框架能否有效适配大规模数据及计算机视觉问题（如三焦点张量估计）？

主要发现

• 在较弱条件下，DPCP公式保证所有全局最优解均位于内点子空间的正交补空间中。
• 线性规划的递归方法可在有限步内收敛至DPCP问题的临界点，当内点子空间为超平面时，可确保全局最优性。
• 该方法在超平面恢复任务中可成功处理高达70%的异常值，优于当前最先进的方法。
• 合成数据实验表明，当其他方法在高异常值比例和高相对维数下失效时，DPCP仍保持鲁棒性。
• 在三视角几何任务中，基于DPCP的方法在性能上优于或至少可与传统基于RANSAC的方法相媲美。
• 基于交替最小化和IRLS的所提算法在大规模数据集上具有良好的可扩展性，同时保持理论收敛性保证。