[論文レビュー] Dual Principal Component Pursuit

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|Oct 15, 2015

Sparse and Compressive Sensing Techniques参考文献 62被引用数 7

ひとこと要約

本稿では、外れ値で汚染されたデータから線形部分空間をロバストに推定するための非凸なℓ₁最小化手法であるDual Principal Component Pursuit（DPCP）を提案する。内側の部分空間の法線ベクトルを線形計画法の再帰的手法により探索することで、DPCPは有限回の反復でグローバル最適解に収束し、特に相対次元が高い部分空間や最大70％の外れ値に対して顕著に優れた性能を示す。合成データおよびコンピュータビジョンの実験において、最先端の手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of learning a linear subspace from data corrupted by outliers. Classical approaches are typically designed for the case in which the subspace dimension is small relative to the ambient dimension. Our approach works with a dual representation of the subspace and hence aims to find its orthogonal complement; as such, it is particularly suitable for subspaces whose dimension is close to the ambient dimension (subspaces of high relative dimension). We pose the problem of computing normal vectors to the inlier subspace as a non-convex $\ell_1$ minimization problem on the sphere, which we call Dual Principal Component Pursuit (DPCP) problem. We provide theoretical guarantees under which every global solution to DPCP is a vector in the orthogonal complement of the inlier subspace. Moreover, we relax the non-convex DPCP problem to a recursion of linear programs whose solutions are shown to converge in a finite number of steps to a vector orthogonal to the subspace. In particular, when the inlier subspace is a hyperplane, the solutions to the recursion of linear programs converge to the global minimum of the non-convex DPCP problem in a finite number of steps. We also propose algorithms based on alternating minimization and iteratively re-weighted least squares, which are suitable for dealing with large-scale data. Experiments on synthetic data show that the proposed methods are able to handle more outliers and higher relative dimensions than current state-of-the-art methods, while experiments in the context of the three-view geometry problem in computer vision suggest that the proposed methods can be a useful or even superior alternative to traditional RANSAC-based approaches for computer vision and other applications.

研究の動機と目的

• 既存のロバストPCA手法が相対次元が高い部分空間（d/D ≈ 1）において失敗するという限界を解消すること。
• 直接部分空間を推定するのではなく、内側の部分空間の直交補空間を推定する双対定式化を構築すること。
• ややきつい条件下でもDPCP定式化のグローバル最適性に関する理論的保証を提供すること。
• 線形計画法の再帰的手法を用いて局所最適解を回避する有限収束型アルゴリズムを設計すること。

提案手法

• 内側の部分空間の法線ベクトルを求めるために、単位球面上での非凸なℓ₁最小化問題として定式化する。
• 非凸問題を緩和するための線形計画法の再帰的手法を導入し、グローバル最適解への有限収束を保証する。
• 安定性を確保し自明な解を避けるために、正規化制約bᵀb = 1と双対制約bᵀn̂ₖ = 1を用いる。
• 大規模データへの応用のため、交互最小化と逐次重み付き最小二乗法（IRLS）を採用する。
• データ行列のD−1個の線形独立な点に対して直交する任意の解が最適であり、有限収束を導くことを証明する。
• 三視点幾何問題への応用として三焦点テンソルを用い、コンピュータビジョン分野におけるロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 内側の部分空間がほぼフル次元に近い高相対次元部分空間において、PCAの双対定式化が標準的手法を上回る性能を示せるか？
• RQ2 非凸なDPCP問題が、内側の部分空間の直交補空間に位置するグローバル解を有するための条件は何か？
• RQ3 線形計画法の再帰的手法が、非凸DPCP問題のグローバル最小値に有限回で収束できるか？
• RQ4 合成データおよび実世界の設定において、外れ値比が70％という極端な状況下でも、本手法はどのように性能を発揮するか？
• RQ5 DPCPフレームワークは、大規模データおよび三焦点テンソル推定のようなコンピュータビジョン問題に効果的に適応可能か？

主な発見

• ややきつい条件下でも、DPCP定式化のすべてのグローバル解が内側の部分空間の直交補空間上に存在することが保証される。
• 線形計画法の再帰的手法は、有限ステップでDPCP問題の臨界点に収束し、内側の部分空間が超平面である場合にはグローバル最適性が保証される。
• 本手法は、超平面回復において最大70％の外れ値を処理でき、この領域において最先端の手法を上回る性能を示す。
• 合成データの実験では、他の手法が外れ値比と相対次元が高い状況で失敗する中で、DPCPはロバスト性を維持していることが示された。
• 三視点幾何において、DPCPに基づく手法は従来のRANSACに基づく手法と比較して優れた、あるいは同等の性能を発揮した。
• 交互最小化とIRLSに基づく本手法のアルゴリズムは、理論的収束保証を維持したまま大規模データセットにも効果的にスケーリング可能である。