[論文レビュー] Online (and Offline) Robust PCA: Novel Algorithms and Performance Guarantees

Jinchun Zhan, Brian Lois+1 more|arXiv (Cornell University)|Jan 29, 2016

Sparse and Compressive Sensing Techniques被引用数 29

ひとこと要約

本論文は、再帰的投影圧縮センシング（ReProCS）フレームワークに基づく、新しいオンラインロバストPCAアルゴリズムを提案し、ストリーミングデータから低ランク（背景）およびスパース（前景）成分を正確にリアルタイムで分離することを可能にする。本研究は、初期部分空間の知識が正確であること、部分空間の変化が遅いこと、固有値がクラスタ化されていることといった弱い仮定の下で、オンラインRPCAに対する最初の完全な性能保証を提供する。これにより、先行研究の部分的な結果を著しく改善する。

ABSTRACT

In this work, we study the online robust principal components' analysis (RPCA) problem. In recent work, RPCA has been defined as a problem of separating a low-rank matrix (true data), $L$, and a sparse matrix (outliers), $S$, from their sum, $M:=L + S$. A more general version of this problem is to recover $L$ and $S$ from $M:=L + S + W$ where $W$ is the matrix of unstructured small noise/corruptions. An important application where this problem occurs is in video analytics in trying to separate sparse foregrounds (e.g., moving objects) from slowly changing backgrounds. While there has been a large amount of recent work on solutions and guarantees for the batch RPCA problem, the online problem is largely open."Online" RPCA is the problem of doing the above on-the-fly with the extra assumptions that the initial subspace is accurately known and that the subspace from which $l_t$ is generated changes slowly over time. We develop and study a novel "online" RPCA algorithm based on the recently introduced Recursive Projected Compressive Sensing (ReProCS) framework. Our algorithm improves upon the original ReProCS algorithm and it also returns even more accurate offline estimates. The key contribution of this work is a correctness result (complete performance guarantee) for this algorithm under reasonably mild assumptions. By using extra assumptions -- accurate initial subspace knowledge, slow subspace change, and clustered eigenvalues -- we are able to remove one important limitation of batch RPCA results and two key limitations of a recent result for ReProCS for online RPCA. To our knowledge, this work is among the first few correctness results for online RPCA. Most earlier results were only partial results, i.e., they required an assumption on intermediate algorithm estimates.

研究の動機と目的

• 現実的仮定の下で、証明可能に正しいオンラインロバストPCAのオープンな問題を解決すること。
• 中間アルゴリズム推定値に関する仮定を必要としていた先行のオンラインRPCA手法の限界を克服すること。
• 正確なオンライン推定と改善されたオフライン再構成を両方提供するアルゴリズムを開発すること。
• ReProCSフレームワークを用いたオンラインRPCAの完全な性能保証を確立すること。理論的分析を強化する。

提案手法

• ReProCSフレームワークに基づく新しいオンラインRPCAアルゴリズムを提案し、再帰的部分空間推定とスパース成分検出を統合する。
• 新しいデータが到着するたびに、低ランク部分空間推定を維持・更新する再帰的投影機構を用いる。
• 残差信号と構造的ノイズモデルを用いて、しきい値処理に基づく方法でスパース外れ値を検出し、推定する。
• 固有値のクラスタリングと行列摂動理論を活用して、部分空間変化を検出する新しいメカニズムを導入する。
• Weylの不等式を用いた行列摂動の確率的境界を用いて、ノイズおよび推定誤差に対してロバスト性を確保する。
• 部分空間安定性および固有値分離を前提として、段階的な補題と定理を用いて性能保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 初期部分空間が既知で、部分空間の変化が遅いといった現実的仮定の下で、証明可能に正しいオンラインRPCAアルゴリズムを設計できるか？
• RQ2 提案されたアルゴリズムは、既存のReProCS変種と比較して、オンラインおよびオフライン推定の両方でより高い精度を達成するか？
• RQ3 先行研究とは異なり、中間アルゴリズム推定値に関する仮定を必要としない性能保証を確立できるか？
• RQ4 固有値のクラスタリングと構造的ノイズモデルは、オンライン部分空間推定の安定性および正しさにどのように影響するか？
• RQ5 小さな非構造的ノイズとスパースコラプションの下で、部分空間追跡精度の理論的限界は何か？

主な発見

• 提案されたアルゴリズムは、正確な初期部分空間の知識、遅い部分空間変化、固有値のクラスタリングといった弱い仮定の下で、オンラインRPCAに対する完全な性能保証を達成する。
• アルゴリズムは元のReProCSよりもより正確なオフライン推定を提供し、全データ処理後の再構成忠実度を向上させる。
• 理論的分析により、与えられた条件下で正しい部分空間検出およびスパース成分推定の確率が、特に $ p_{\text{det},1} $ という高い信頼水準以下に有界であることが示された。
• 方法は部分空間変化を正しく検出し、誤差が有界な範囲で新しい方向を推定することができ、最終定理で示される $ \tilde{O}(1) $-ノルムの推定誤差に反映される。
• 中間アルゴリズム推定値に関する仮定を必要としないため、先行の結果とは異なり、完全な正しさ保証が得られる。
• 固有値分離、行列摂動の境界、再帰的部分空間推定の正確性を確立する一連の補題を用いて、アルゴリズムの正しさが証明された。