[論文レビュー] MEDRoP: Memory-Efficient Dynamic Robust PCA.

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|Dec 17, 2017

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

MEDRoP は、スパースな外れ値が存在する状況下でも、ゆっくりと変化する低ランク部分空間を追跡する、メモリ効率が良く、オンラインな動的ロバストPCAのためのアルゴリズムである。本手法は、緩和された仮定の下で動的RPCAに対して、初めての証明可能な保証を提供し、部分空間追跡における遅延をほぼ最適に達成するとともに、最適性の対数的要因の範囲内で低メモリ複雑性を維持する。

ABSTRACT

Robust PCA (RPCA) is the problem of separating a given data matrix into the sum of a sparse matrix and a low-rank matrix. The column span of the low-rank matrix gives the PCA solution. Dynamic RPCA is the time-varying extension of RPCA. It assumes that the true data vectors lie in a low-dimensional subspace that can change with time, albeit slowly. The goal is to track this changing subspace over time in the presence of sparse outliers. We propose an algorithm that we call Memory-Efficient Dynamic Robust PCA (MEDRoP). This relies on the recently studied recursive projected compressive sensing (ReProCS) framework for solving dynamic RPCA problems, however, the actual algorithm is significantly different from, and simpler than, previous ReProCS-based methods. The main contribution of this work is a theoretical guarantee that MEDRoP provably solves dynamic RPCA under weakened versions of standard RPCA assumptions, a mild assumption on slow subspace change, and two simple assumptions (a lower bound on most outlier magnitudes and mutual independence of the true data vectors). Our result is important because (i) it removes the strong assumptions needed by the three previous complete guarantees for ReProCS-based algorithms; (ii) it shows that, it is possible to achieve significantly improved outlier tolerance compared to static RPCA solutions by exploiting slow subspace change and a lower bound on most outlier magnitudes; (iii) it is able to track a changed subspace within a delay that is more than the subspace dimension by only logarithmic factors and thus is near-optimal; and (iv) it studies an algorithm that is online (after initialization), fast, and, memory-efficient (its memory complexity is within logarithmic factors of the optimal).

研究の動機と目的

• 高次元データにスパースな外れ値が存在する状況下で、時間的に変化する低ランク部分空間を追跡する課題に対処すること。
• 従来のReProCSに基づく手法が動的RPCAに要する強い仮定を軽減すること。
• 部分空間の変化が遅いことと外れ値の大きさに下限があることを利用することで、外れ値耐性を向上させること。
• オンラインで高速かつメモリ効率が良く、最小限のストレージオーバーヘッドを有するアルゴリズムを設計すること。

提案手法

• MEDRoP は再帰的投影圧縮センシング（ReProCS）フレームワークを活用するが、複雑性を低減するための簡素化されたアルゴリズム構造を導入する。
• 新規データに逐次更新されるように、再帰的投影と直交化を用いて部分空間の低ランク推定値を維持する。
• 外れ値の大部分の大きさに下限を課すことで、ノイズや微小な摂動と区別できるようにする。
• 真のデータベクトルの相互独立性を仮定することで、時間経過に伴う安定した部分空間推定を保証する。
• 外れ値に対してロバストでありながら、ゆっくりとした部分空間の変化を追跡できるように、遅延のある部分空間更新メカニズムを組み込む。
• 部分空間の圧縮表現のみを保持することでメモリ効率を達成し、理論的最小値の対数的要因の範囲内で複雑性を抑える。

実験結果

リサーチクエスチョン

• RQ1 従来のReProCSに基づく手法が要請する仮定よりも著しく緩和された仮定の下で、動的RPCAを解くことは可能か？
• RQ2 部分空間の変化が遅いことと外れ値の大きさに下限があることによって、静的RPCAと比較して外れ値耐性はどの程度向上するか？
• RQ3 変化した部分空間を追跡するために必要な最小遅延は何か？ また、その遅延は最適性の対数的要因の範囲内で達成可能か？
• RQ4 理論的保証を維持しつつ、オンラインでメモリ効率が良く、動的RPCAに適したアルゴリズムを設計することは可能か？

主な発見

• MEDRoP は、部分空間の変化や外れ値構造に対する制約を緩和した標準RPCA仮定の下で、動的RPCAに対して初めての証明可能な保証を提供する。
• 部分空間の変化が遅いことと、外れ値の大きさに下限があることを利用することで、著しく向上した外れ値耐性を達成する。
• 変化した部分空間を追跡するための遅延は、部分空間次元の対数的要因の範囲内にあり、ほぼ最適である。
• MEDRoP は理論的最小値の対数的要因の範囲内でメモリ複雑性を維持し、高次元データへのスケーラビリティを実現する。
• 初期化後はオンラインで動作し、計算的に効率が良く、ストリーミングデータを扱うリアルタイム応用に適している。
• 理論的解析により、真のデータベクトルの相互独立性と外れ値の大きさの下限が、安定的かつ正確な部分空間追跡に十分であることが確認された。