[論文レビュー] Static and Dynamic Robust PCA via Low-Rank + Sparse Matrix Decomposition: A Review.

Namrata Vaswani, Praneeth Narayanamurthy|arXiv (Cornell University)|Mar 1, 2018

Sparse and Compressive Sensing Techniques参考文献 42被引用数 3

ひとこと要約

本論文は、Robust PCA (RPCA) および動的RPCA（ロバスト部分空間追跡）の過去10年間の研究をレビューし、両者を低ランク＋スパース行列分解問題として枠組みづけている。理論的保証、アルゴリズム的手法、および実験的性能を統合的に分析し、スパースノイズ下でのロバスト部分空間推定に対して、証明可能に正しい、高速かつメモリ効率の良いソリューションを包括的に提示している。

ABSTRACT

Principal Components Analysis (PCA) is one of the most widely used dimension reduction techniques. Robust PCA (RPCA) refers to the problem of PCA when the data may be corrupted by outliers. Recent work by Candes, Wright, Li, and Ma defined RPCA as a problem of decomposing a given data matrix into the sum of a low-rank matrix (true data) and a sparse matrix (outliers). The column space of the low-rank matrix then gives the PCA solution. This simple definition has lead to a large amount of interesting new work on provably correct, fast, and practically useful solutions to the RPCA problem. More recently, the dynamic (time-varying) version of the RPCA problem has been studied and a series of provably correct, fast, and memory efficient tracking solutions have been proposed. Dynamic RPCA (or robust subspace tracking) is the problem of tracking data lying in a (slowly) changing subspace while being robust to sparse outliers. This article provides an exhaustive review of the last decade of literature on RPCA and its dynamic counterpart (robust subspace tracking), along with describing their theoretical guarantees, discussing the pros and cons of various approaches, and providing empirical comparisons of performance and speed.

研究の動機と目的

• Robust PCA (RPCA) 及びその動的版であるロバスト部分空間追跡に関する、過去10年間の研究を包括的にレビューすること。
• 低ランク＋スパース行列分解に基づくRPCA手法の理論的基盤、アルゴリズム設計、実用的性能を分析すること。
• 精度、速度、メモリ効率の観点から、さまざまなRPCAおよびロバスト部分空間追跡アルゴリズムの長所と短所を比較すること。
• 複数のアプローチにわたる実験的結果と理論的保証を統合し、今後の研究および応用を支援すること。

提案手法

• 本論文は、RPCAを行列分解問題として定式化する：汚染されたデータ行列が与えられたとき、元の低ランク構造とスパース外れ値成分を回復すること。
• 低ランク性のための核ノルム最小化、スパース性のためのL1ノルム最小化を含む、凸緩和手法をレビューして、分解問題を解く。
• 動的RPCAに対しては、時間的に変化する低ランク部分空間を追跡しながらスパース外れ値を分離する再帰的・インクリメンタルなアルゴリズムを検討する。
• 増大ラグランジュ法、特異値しきい値処理、交替方向乗数法（ADMM）が最適化問題の解法にどのように用いられるかを評価する。
• 収束保証、汚染レベルに対するロバストネス、計算複雑度の観点から、異なるアルゴリズム間の性能を分析する。
• 大規模データ処理、リアルタイム処理、メモリ制約への対応能力の観点から、手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 低ランク＋スパース分解に基づくRPCAおよびロバスト部分空間追跡アルゴリズムの、主な理論的保証は何か？
• RQ2 RPCAの異なるアルゴリズム的手法は、速度、精度、メモリ効率の観点でどのように比較できるか？
• RQ3 現実世界の時間変動するデータにスパースノイズが存在する状況において、既存のRPCA手法の実用的限界は何か？
• RQ4 凸緩和と非凸最適化アプローチは、RPCA問題を解く上でどのように比較できるか？
• RQ5 リアルワールド応用において、バッチ処理とオンライン（動的）RPCA手法の間には、どのような性能的トレードオフがあるか？

主な発見

• 本論文は、低ランク＋スパース分解によるRPCAが、ある種の非一様性条件およびスパース性条件下で、証明可能な正確な回復を実現できることを確認している。
• 核ノルム最小化やL1最小化といった凸最適化手法は、強固な理論的保証を提供するが、大規模データに対しては計算コストが高くなる傾向がある。
• 再帰的・インクリメンタルなアルゴリズムに基づく動的RPCA手法は、スパース外れ値に対してロバストでありながら、リアルタイム処理が可能で、メモリ使用量も低い。
• 実験的比較では、一部の非凸的・グリーディなアルゴリズムが、速度およびスケーラビリティの観点で凸手法と同等または優れた性能を示している。
• 本レビューでは、ロバスト部分空間追跡アルゴリズムが、部分空間がゆっくりと変化する応用分野（例：動画背景モデル化、モーション解析）において特に効果的であると判明した。
• 統合された分析から、アルゴリズム選択は、計算効率、ロバストネス、理論的保証の必要性との間のトレードオフに強く依存することが明らかになった。