[論文レビュー] Nearly Optimal Robust Subspace Tracking

Praneeth Narayanamurthy, Namrata Vaswani|arXiv (Cornell University)|Dec 17, 2017

Sparse and Compressive Sensing Techniques被引用数 15

ひとこと要約

本稿では、再帰的投影圧縮センシングアルゴリズム ReProCS-NORST を提案する。このアルゴリズムは、ほぼ最適な追跡遅延 O(r log n log(1/ϵ)) と最適なメモリ複雑性を達成するロバスト部分空間追跡（RST）を実現する。弱化された RPCA の仮定の下で、RST に対する初めての証明可能保証を提供し、部分空間変化の遅さと外れ値の大きさの下限という2つの重要な仮定のおかげで、外れ値耐性が向上する。

ABSTRACT

In this work, we study the robust subspace tracking (RST) problem and obtain one of the first two provable guarantees for it. The goal of RST is to track sequentially arriving data vectors that lie in a slowly changing low-dimensional subspace, while being robust to corruption by additive sparse outliers. It can also be interpreted as a dynamic (time-varying) extension of robust PCA (RPCA), with the minor difference that RST also requires a short tracking delay. We develop a recursive projected compressive sensing algorithm that we call Nearly Optimal RST via ReProCS (ReProCS-NORST) because its tracking delay is nearly optimal. We prove that NORST solves both the RST and the dynamic RPCA problems under weakened standard RPCA assumptions, two simple extra assumptions (slow subspace change and most outlier magnitudes lower bounded), and a few minor assumptions. Our guarantee shows that NORST enjoys a near optimal tracking delay of $O(r \log n \log(1/ε))$. Its required delay between subspace change times is the same, and its memory complexity is $n$ times this value. Thus both these are also nearly optimal. Here $n$ is the ambient space dimension, $r$ is the subspaces' dimension, and $ε$ is the tracking accuracy. NORST also has the best outlier tolerance compared with all previous RPCA or RST methods, both theoretically and empirically (including for real videos), without requiring any model on how the outlier support is generated. This is possible because of the extra assumptions it uses.

研究の動機と目的

• 最小限の遅延で、スパースで任意の外れ値が存在する状況下でも、ゆっくりと変化する低次元部分空間を追跡する課題に対処すること。
• 証明可能なほぼ最適な追跡遅延とメモリ複雑性を達成する再帰的アルゴリズムを構築すること。
• リアルタイム推定要件を満たす動的で時間的に変化する設定に、ロバストPCA（RPCA）を拡張すること。
• 外れ値のサポート生成に関する仮定を必要とせずに、従来の RPCA や RST 手法よりも外れ値耐性を向上させること。

提案手法

• リアルタイムのロバスト部分空間追跡を目的とした、再帰的プロジェクション圧縮センシングアルゴリズム ReProCS-NORST を提案する。
• 過去の推定値と圧縮センシングの原則を活用する再帰的アップデート戦略を用いて、低ランク成分とスパース成分を回復する。
• 部分空間間の距離を測るための部分空間誤差指標 SE(P1, P2) = ∥(I − P1P1′)P2∥ を使用する。
• 追跡遅延が O(r log n log(1/ϵ)) である遅延モデルを導入し、問題に対してほぼ最適であることを示す。
• 回復を保証するための2つの重要な仮定に依存する：部分空間変化の遅さと外れ値の大きさの下限。
• 基底行列表現と直交射影を用いて、時間経過に伴う部分空間推定値を維持する。

実験結果

リサーチクエスチョン

• RQ1 証明可能なほぼ最適な遅延とメモリ複雑性を達成するロバスト部分空間追跡は可能か？
• RQ2 ReProCS-NORST の性能は、既存の RPCA や RST 手法と比較して、外れ値耐性と回復精度の面でどのように異なるか？
• RQ3 動的で時間的に変化する部分空間追跡において、証明可能な回復を達成するために必要な仮定は何か？
• RQ4 このアルゴリズムは、複雑なフォアグラウンドダイナミクスと背景と類似した色を示す実世界のビデオデータを処理できるか？
• RQ5 外れ値の大きさの下限が回復性能にどのように影響するか？

主な発見

• ReProCS-NORST は O(r log n log(1/ϵ)) の追跡遅延を達成しており、これは部分空間変化の間隔に必要な遅延と一致し、ほぼ最適である。
• アルゴリズムは n × 追跡遅延に等しい最適なメモリ複雑性を達成しており、これもほぼ最適である。
• 弱化された標準 RPCA の仮定の下で、ロバスト部分空間追跡に対する初めての証明可能保証を提供する。加えて、部分空間変化の遅さと外れ値の大きさの下限という2つの仮定を導入する。
• NORST は、AltProj や他の RPCA 手法と比較して、外れ値の大きさがゼロから離れている場合に顕著に高い外れ値耐性を示す。
• MR および Lobby データセットにおける実際のビデオ実験では、NORST はそれぞれ 43 fps および 16 fps の処理レートを達成し、優れたフォアグラウンド・バックグラウンド分離を実現した。
• 数値結果から、外れ値の大きさが小さすぎる場合（例：xmin = 5）に NORST が失敗することが確認され、下限仮定の必要性が裏付けられた。