[論文レビュー] A Novel M-Estimator for Robust PCA

Teng Zhang, Gilad Lerman|arXiv (Cornell University)|Dec 20, 2011

Sparse and Compressive Sensing Techniques参考文献 90被引用数 95

ひとこと要約

本稿では、ロバストな逆標本共分散に基づく凸エネルギー関数を最小化することで、正確な部分空間回復を達成する、新しいM-推定量を提案する。この手法は、線形収束を示す反復的重み付き最小二乗法（IRLS）を用い、合成データおよび実データにおいて、既存手法を上回る速度と精度を達成するとともに、インライヤーおよびアウーターラーの分布にやや厳しい条件のもとで理論的保証を提供する。

ABSTRACT

We study the basic problem of robust subspace recovery. That is, we assume a data set that some of its points are sampled around a fixed subspace and the rest of them are spread in the whole ambient space, and we aim to recover the fixed underlying subspace. We first estimate "robust inverse sample covariance" by solving a convex minimization procedure; we then recover the subspace by the bottom eigenvectors of this matrix (their number correspond to the number of eigenvalues close to 0). We guarantee exact subspace recovery under some conditions on the underlying data. Furthermore, we propose a fast iterative algorithm, which linearly converges to the matrix minimizing the convex problem. We also quantify the effect of noise and regularization and discuss many other practical and theoretical issues for improving the subspace recovery in various settings. When replacing the sum of terms in the convex energy function (that we minimize) with the sum of squares of terms, we obtain that the new minimizer is a scaled version of the inverse sample covariance (when exists). We thus interpret our minimizer and its subspace (spanned by its bottom eigenvectors) as robust versions of the empirical inverse covariance and the PCA subspace respectively. We compare our method with many other algorithms for robust PCA on synthetic and real data sets and demonstrate state-of-the-art speed and accuracy.

研究の動機と目的

• 外れ値やノイズに対して不変である、証明可能にロバストで凸な部分空間回復手法の開発。
• 部分空間推定におけるグラスマン多様体の非凸性を、逆標本共分散の凸緩和によって克服すること。
• ヒューリスティックなペナルティの代わりに、原理的で一貫性のあるM-推定量フレームワークを導入することで、調整パラメータの必要性を排除すること。
• 反復的アルゴリズムの線形収束を保証し、部分空間回復に関する理論的保証を提供すること。
• 既存のロバストPCA手法と比較して、合成データおよび実世界のデータにおいて優れた性能を示すこと。

提案手法

• 非2次損失関数を用いたM-推定量により、大きな残差を軽減する凸エネルギー関数を最小化することで、ロバストな逆標本共分散行列を推定する。
• 下位固有ベクトル（固有値が0に近いもの）から、元の部分空間を回復する。
• 凸エネルギー関数の最小化点に線形収束する反復的重み付き最小二乗法（IRLS）アルゴリズムを提案する。
• 各反復で、現在の部分空間推定にデータを射影し、低次元の部分問題を解くことで、計算効率を向上させる。
• 正則化を組み込み、ノイズ耐性および部分空間回復精度への影響を定量的に評価する。
• 理論的分析により、インライヤーの大きさが有界で、アウターラーがスパース構造を持つというやや厳しい分布的仮定のもとで、正確な部分空間回復が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意のパrameterチューニングを回避し、正確な部分空間回復を保証する凸M-推定量を設計できるか？
• RQ2 非凸な部分空間推定問題を効果的に凸最適化フレームワークに緩和できるか？
• RQ3 凸最小化問題を解く反復的アルゴリズムに対して、どのような収束保証を確立できるか？
• RQ4 実データおよび合成データにおいて、本手法は既存のロバストPCAアルゴリズムと比較して、精度と速度の両面で優れているか？
• RQ5 インライヤーおよびアウターラーの分布にどのような仮定を置くと、正確な部分空間回復が達成されるか？

主な発見

• 提案手法のM-推定量は、インライヤーの大きさが有界で、アウターラーがスパース構造を持つというやや厳しい条件下でも、高次元設定においても正確な部分空間回復を達成する。
• IRLSアルゴリズムは、凸最小化問題の解に線形収束するため、高速かつ安定した計算が保証される。
• 合成データおよび実世界のデータ（顔画像およびモーションデータを含む）において、最先端のロバストPCAアルゴリズムを、速度と精度の両面で上回る。
• M-推定量から得られるロバストな逆共分散行列は、古典的な標本逆共分散のロバスト版であり、その下位固有ベクトルがロバストPCA部分空間を提供する。
• 理論的分析により、本手法は、大きな外れ値に左右されにくいことが確認され、標準的なL1ベースの推定量とは異なり、単一の極端に外れた点に影響されにくい。
• 本フレームワークは、複数の部分空間やハイブリッド汚染モデルへの理論的拡張を可能とし、単一部分空間回復を超えた広範な応用可能性を示唆する。