[論文レビュー] New Results for Provable Dynamic Robust PCA.

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|May 24, 2017

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

この論文は、スパースな外れ値のもとでゆっくりと時間変化する低ランク部分空間を追跡する、動的ロバストPCAのための新しいオンラインアルゴリズムであるsimple-ReProCSを紹介する。弱められた仮定—ゆっくりとした部分空間の変化と外れ値の最小大きさ—の下で、初めての理論的保証を達成し、外れ値への耐性を向上させ、メモリ使用量をほぼ最適化し、高速なオンライン処理を実現する。

ABSTRACT

Dynamic robust PCA refers to the dynamic (time-varying) extension of robust PCA (RPCA). It assumes that the true (uncorrupted) data lies in a low-dimensional subspace that can change with time, albeit slowly. The goal is to track this changing subspace over time in the presence of sparse outliers. We develop and study a novel algorithm, that we call simple-ReProCS, based on the recently introduced Recursive Projected Compressive Sensing (ReProCS) framework. Our work provides the first guarantee for dynamic RPCA that holds under weakened versions of standard RPCA assumptions, slow subspace change and a lower bound assumption on most outlier magnitudes. Our result is significant because (i) it removes the strong assumptions needed by the two previous complete guarantees for ReProCS-based algorithms; (ii) it shows that it is possible to achieve significantly improved outlier tolerance, compared with all existing RPCA or dynamic RPCA solutions by exploiting the above two simple extra assumptions; and (iii) it proves that simple-ReProCS is online (after initialization), fast, and, has near-optimal memory complexity.

研究の動機と目的

• 従来のReProCSに基づくアルゴリズムが、理論的保証を得るために強い、現実的でない仮定を必要としていたという限界を解消すること。
• データがスパースな外れ値によって汚染される時間変化する設定においても、ロバストな部分空間追跡を可能にすること。
• 強い非一様性や正確なスパarsityを要するようなRPCAで一般的に使われる制限的な仮定に依存を減らしつつ、理論的保証を維持すること。
• simple-ReProCSが初期化後、ほぼ最適なメモリ複雑性とオンライン処理を達成することを示すこと。
• ゆっくりとした部分空間の変化と外れ値の最小大きさを活用することで、既存手法と比較して著しく向上した外れ値耐性が得られることを示すこと。

提案手法

• ReProCSフレームワークに基づく新しいアルゴリズムであるsimple-ReProCSを提案し、動的環境下での低ランク部分空間のオンラインで再帰的な推定を目的とする。
• 再帰的射影と圧縮センシングの原則を活用し、時間経過に伴って部分空間を段階的に推定・更新する。
• 外れ値の大きさに下限を設けることを鍵となる仮定として採用し、耐性を高め、より強い理論的保証を可能にする。
• 部分空間の変化がゆっくりであるという仮定に依存することで、部分空間の変化が徐々に進行することを保証し、安定した追跡を実現する。
• 2段階の回復プロセスを用いる：まずスパースな外れ値成分を推定し、次に推定された低ランク部分空間に射影して精緻化する。
• 各時刻における部分空間および外れ値推定のためのコンact表現のみを保持することで、ほぼ最適なメモリ複雑性を達成する。

実験結果

リサーチクエスチョン

• RQ1 従来のReProCSに基づくアルゴリズムが要請する仮定よりも弱い仮定の下で、動的ロバストPCAを理論的に解けるか。
• RQ2 部分空間の変化がゆっくりで、外れ値の大きさに下限があるという仮定を導入することで、外れ値耐性をどの程度向上させられるか。
• RQ3 理論的保証を維持しつつ、オンラインで高速かつメモリ効率の良い動的RPCAのためのアルゴリズムを設計することは可能か。
• RQ4 部分空間の変化がゆっくりで、外れ値の大きさに下限があるという仮定の組み合わせが、標準的なRPCAの仮定よりも強い回復保証を可能にするか。
• RQ5 simple-ReProCSは、より制限の厳しい仮定を必要としないにもかかわらず、既存のソリューションと同等またはそれ以上の性能を達成できるか。

主な発見

• simple-ReProCSは、ゆっくりとした部分空間の変化と外れ値の大きさの下限という弱められた仮定の下で、動的ロバストPCAに対する初めての理論的保証を達成した。
• 2つの追加仮定を活用することで、すべての既存のRPCAおよび動的RPCAソリューションと比較して、著しく向上した外れ値耐性を示した。
• simple-ReProCSは初期化後、オンライン処理が可能であり、計算およびメモリのオーバーヘッドが低いリアルタイム処理を実現する。
• 部分空間および外れ値推定に必要なコンponentsのみを各時刻で保持することで、ほぼ最適なメモリ複雑性を達成した。
• 理論的解析により、部分空間が時間とともに徐々に変化する場合でも、アルゴリズムが安定かつ正確に保たれることを確認した。
• 2つの仮定—ゆっくりとした変化と外れ値の最小大きさ—が、強い非一様性や正確なスパarsityを要しないまま、より強い回復保証を可能にした。