[論文レビュー] Robust PCA via Outlier Pursuit

Huan Xu, Constantine Caramanis+1 more|arXiv (Cornell University)|Oct 20, 2010

Sparse and Compressive Sensing Techniques参考文献 26被引用数 205

ひとこと要約

この論文は、低ランク行列の列空間を正確に回復し、任意で多数の欠損値（外れ値）を含むデータ行列における外れ値を同定する凸最適化手法であるOutlier Pursuitを提案する。この手法は、核ノルム最小化と$̂´1,2$-ノルム正則化を用いて、弱い非一様性および外れ値の割合に関する条件下で、低ランク構造の回復と外れ値検出を同時に実現する。

ABSTRACT

Singular Value Decomposition (and Principal Component Analysis) is one of the most widely used techniques for dimensionality reduction: successful and efficiently computable, it is nevertheless plagued by a well-known, well-documented sensitivity to outliers. Recent work has considered the setting where each point has a few arbitrarily corrupted components. Yet, in applications of SVD or PCA such as robust collaborative filtering or bioinformatics, malicious agents, defective genes, or simply corrupted or contaminated experiments may effectively yield entire points that are completely corrupted. We present an efficient convex optimization-based algorithm we call Outlier Pursuit, that under some mild assumptions on the uncorrupted points (satisfied, e.g., by the standard generative assumption in PCA problems) recovers the exact optimal low-dimensional subspace, and identifies the corrupted points. Such identification of corrupted points that do not conform to the low-dimensional approximation, is of paramount interest in bioinformatics and financial applications, and beyond. Our techniques involve matrix decomposition using nuclear norm minimization, however, our results, setup, and approach, necessarily differ considerably from the existing line of work in matrix completion and matrix decomposition, since we develop an approach to recover the correct column space of the uncorrupted matrix, rather than the exact matrix itself. In any problem where one seeks to recover a structure rather than the exact initial matrices, techniques developed thus far relying on certificates of optimality, will fail. We present an important extension of these methods, that allows the treatment of such problems.

研究の動機と目的

• 標準的なPCAが、低ランク近似を著しく歪める任意の外れ値（完全に欠損したデータポイント）を処理できないという限界を解決すること。
• 真の低次元部分空間を回復するだけでなく、破損した列の正確な位置を同定する手法を開発すること。
• 自然で弱い仮定の下で、列空間および外れ値サポートの正確な回復に関する理論的保証を提供すること。
• 従来のロバストPCA手法の欠点（高次元では失敗するか、外れ値を同定できない）を克服すること。
• 共同フィルタリングやバイオインフォマティクスなどの実世界の応用に適した、ノイジーで部分観測されたデータを扱えるフレームワークに拡張すること。

提案手法

• 問題を $ M = L_0 + C_0 $ の行列分解として定式化し、$ L_0 $ を低ランク、$ C_0 $ を列スパース（外れ値）とする。
• 凸最適化プログラムを用いる：$ L + C = M $ を満たす条件下で $ \|L\|_* + \lambda \|C\|_{1,2} $ を最小化する。ここで $ \|\cdot\|_* $ は核ノルム、$ \|\cdot\|_{1,2} $ は混合ノルムである。
• ターゲット構造（列空間）が一意に特定されない場合の回復条件を分析するためにオракル問題を活用する。
• 完全な行列再構成ではなく、列空間回復に特化した最適性証明の新たな解析フレームワークを導入する。
• 観測済み要素の集合 $ \Omega $ を用いて制約を $ \mathcal{P}_\Omega(L + C) = \mathcal{P}_\Omega(M) $ に変更することで、ノイジーおよび不完全観測設定に適用する。
• 回復された $ C $ 行列の各列の $ \ell_2 $-ノルムをヒューリスティックに用い、最適化後にしきい値処理を施して外れ値を同定する。

実験結果

リサーチクエスチョン

• RQ1 列の一部が任意に破損（外れ値）している場合でも、ランクや外れ値の位置に関する事前知識がなくても、低ランク行列の列空間を正確に回復できるか？
• RQ2 凸最適化定式化 $ \min \|L\|_* + \lambda \|C\|_{1,2} $ が、列空間および外れ値の位置の両方を正確に回復するための条件は何か？
• RQ3 次元が増加するに従って、従来のロバストPCAアルゴリズムの破壊点が減少するのと比較して、この手法の性能はどのようにスケーリングするか？
• RQ4 ノイズやデータ行列の部分観測が存在する状況でも、この手法は外れ値を正しく同定できるか？
• RQ5 この手法はデータの回転に対して不変であるか？また、他の行列回復フレームワークで一般的な列空間非一様性の仮定を回避できるか？

主な発見

• 外れ値の割合が限定的で、$ L_0 $ の行空間が非一様性を満たす弱い条件下で、Outlier Pursuitは $ L_0 $ の列空間および $ C_0 $ のサポートを正確に回復する。
• 従来の行列補完手法とは異なり、外れ値が要素ごとにスパースでなくても、この手法は正確な回復を達成する。
• ノイジーな状況では、同一の外れ値に対して $ \sigma/s \leq 0.3 $、ランダムな外れ値に対して $ \sigma/s \leq 0.7 $ の信号対雑音比で、外れ値を正しく同定する。
• 部分観測データでは、観測率が30％であっても高い成功率を維持し、完全観測状況と比較して性能が大きく低下しない。
• USPSの数字データセットでは、数字'7'の11個のサンプルがすべて外れ値として正しく同定され、2つの'1'のサンプルも特徴的な筆跡のため同定された。
• この手法は回転不変性を有し、列空間非一様性の仮定を必要とせず、他の核ノルムベースのアプローチが依存するような仮定を回避する点で、先行研究とは異なる。