[論文レビュー] Nearly Optimal Robust Subspace Tracking and Dynamic Robust PCA

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|Dec 17, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用数 2

ひとこと要約

本論文は、弱化されたRPCA仮定の下で、近似的に最適な追跡遅延 $O(r \log n \log(1/\epsilon))$ とメモリ複雑度を達成する、再帰的投影圧縮センシングアルゴリズム ReProCS-NORST を提案する。遅延とメモリの両方において、遅い部分空間の変化と有界な外れ値の大きさに関する追加仮定により、外れ値に対する耐性が向上する。

ABSTRACT

In this work, we study the robust subspace tracking (RST) problem and obtain one of the first two provable guarantees for it. The goal of RST is to track sequentially arriving data vectors that lie in a slowly changing low-dimensional subspace, while being robust to corruption by additive sparse outliers. It can also be interpreted as a dynamic (time-varying) extension of robust PCA (RPCA), with the minor difference that RST also requires a short tracking delay. We develop a recursive projected compressive sensing algorithm that we call Nearly Optimal RST via ReProCS (ReProCS-NORST) because its tracking delay is nearly optimal. We prove that NORST solves both the RST and the dynamic RPCA problems under weakened standard RPCA assumptions, two simple extra assumptions (slow subspace change and most outlier magnitudes lower bounded), and a few minor assumptions. Our guarantee shows that NORST enjoys a near optimal tracking delay of $O(r \log n \log(1/\epsilon))$. Its required delay between subspace change times is the same, and its memory complexity is $n$ times this value. Thus both these are also nearly optimal. Here $n$ is the ambient space dimension, $r$ is the subspaces' dimension, and $\epsilon$ is the tracking accuracy. NORST also has the best outlier tolerance compared with all previous RPCA or RST methods, both theoretically and empirically (including for real videos), without requiring any model on how the outlier support is generated. This is possible because of the extra assumptions it uses.

研究の動機と目的

• 現実的で妥当な仮定の下で、保証付きのロバスト部分空間追跡（RST）問題を扱う。
• 最小限の追跡遅延で、時間的に変化する部分空間に適応するロバストPCA（RPCA）を拡張する。
• 近似的に最適な遅延とメモリ複雑度を達成しながら、高い外れ値耐性を維持する部分空間追跡を実現する。
• 外れ値のサポート生成に関する仮定を必要とせず、スパースで任意の外れ値に対して強い手法を開発する。
• 弱められた標準RPCA仮定の下で、RSTおよび動的RPCAの両方に対する理論的保証を提供する。

提案手法

• 低ランク構造を持つ逐次的データに特化した、再帰的投影圧縮センシングアルゴリズム ReProCS-NORST を提案する。
• 測定値を動的に更新される低ランク部分空間に投影する再帰的推定フレームワークを用いる。
• 各時刻で残差信号からスパース外れ値を回復するために、圧縮センシングの原則を統合する。
• 時間的整合性と部分空間の持続性を活用することで、ほぼ最適な追跡遅延を達成する。
• 安定な回復を保証するため、部分空間の変化が遅いことと外れ値の大きさが下限を持つことの仮定に依存する。
• メモリ複雑度が $n \cdot O(r \log n \log(1/\epsilon))$ に比例し、これはほぼ最適である。

実験結果

リサーチクエスチョン

• RQ1 ロバスト部分空間追跡アルゴリズムは、高い外れ値耐性を維持しながら、近似的に最適な追跡遅延を達成できるか？
• RQ2 部分空間の変化が遅く、外れ値の大きさが有界であるという仮定が、動的状況下での回復性能に与える影響は何か？
• RQ3 スパースな不正な摂動下で、時間的に変化する部分空間を安定的かつ正確に追跡するために必要な最小遅延は何か？
• RQ4 外れ値のサポート生成に関するモデルを必要とせず、理論的および実験的に従来のRPCAおよびRST手法を上回る性能を達成できるか？
• RQ5 このような手法のメモリ複雑度は何か？ そして、これはほぼ最適か？

主な発見

• ReProCS-NORST は、$O(r \log n \log(1/\epsilon))$ の追跡遅延を達成し、これはRST問題に対してほぼ最適である。
• メモリ複雑度は追跡遅延の $n$ 倍であり、与えられた仮定の下ではこれもほぼ最適である。
• 弱められた標準RPCA仮定の下で、ロバスト部分空間追跡および動的RPCAの両方に対して保証付きの理論的結果を提供する。
• 外れ値のサポート生成に関するモデルを必要とせず、理論的および実験的に、既存のRPCAおよびRST手法の中で最高の外れ値耐性を達成する。
• 部分空間の変化が遅く、外れ値の大きさが下限を持つ条件下でも、安定性と正確性を維持でき、実際の動画データに対してもロバストな性能を発揮する。
• 理論的枠組みにより、部分空間の変化が遅く、外れ値の大きさが下限を持つという条件の組み合わせが、ほぼ最適な性能を実現可能であることが示された。