[論文レビュー] ReProCS: A Missing Link between Recursive Robust PCA and Recursive Sparse Recovery in Large but Correlated Noise

Chenlu Qiu, Namrata Vaswani|arXiv (Cornell University)|Jun 16, 2011

Sparse and Compressive Sensing Techniques参考文献 32被引用数 37

ひとこと要約

本論文では、相関するスパースノイズ（例：動いている物体を含む動画）を注目信号として扱う、再帰的ロバストPCAのためのReProCSを提案する。時間的相関をもつノイズサポートの予測にカルマンフィルタを活用することで、サポート予測付き修正圧縮センシング問題を定式化し、低ランク構造を持つ大きな相関ノイズに対しても安定的かつリアルタイムにスパース信号を復元可能となる。

ABSTRACT

This work studies the recursive robust principal components' analysis (PCA) problem. Here, "robust" refers to robustness to both independent and correlated sparse outliers, although we focus on the latter. A key application where this problem occurs is in video surveillance where the goal is to separate a slowly changing background from moving foreground objects on-the-fly. The background sequence is well modeled as lying in a low dimensional subspace, that can gradually change over time, while the moving foreground objects constitute the correlated sparse outliers. In this and many other applications, the foreground is an outlier for PCA but is actually the "signal of interest" for the application; where as the background is the corruption or noise. Thus our problem can also be interpreted as one of recursively recovering a time sequence of sparse signals in the presence of large but spatially correlated noise. This work has two key contributions. First, we provide a new way of looking at this problem and show how a key part of our solution strategy involves solving a noisy compressive sensing (CS) problem. Second, we show how we can utilize the correlation of the outliers to our advantage in order to even deal with very large support sized outliers. The main idea is as follows. The correlation model applied to the previous support estimate helps predict the current support. This prediction serves as "partial support knowledge" for solving the modified-CS problem instead of CS. The support estimate of the modified-CS reconstruction is, in turn, used to update the correlation model parameters using a Kalman filter (or any adaptive filter). We call the resulting approach "support-predicted modified-CS".

研究の動機と目的

• 動画監視やfMRI解析で一般的な、時間的・空間的に相関する大きなスパースノイズが存在する状況における再帰的ロバストPCAの課題に対処すること。
• スパース信号を目的信号とし、低ランク成分を背景またはノイズとみなすことで、時間変動するスパース信号の再帰的復元問題に再定式化すること。
• スパースノイズのサポートにおける時間的相関を活用することで、標準的な圧縮センシングを上回る復元性能を向上させる手法を開発すること。
• 動的サポート予測と適応フィルタリングを組み込むことで、誤差が有界となる安定的でリアルタイムな信号復元を実現すること。
• 再帰的ロバストPCAと相関ノイズ下での再帰的スパース復元を統合する理論的・アルゴリズム的枠組みを提供すること。

提案手法

• スパースノイズベクトル $ S_t $ を、時間変動するサポート $ T_t $ を持つものとモデル化し、サポートの変化は新しい追加成分（$ \mathcal{A}_t $）、減衰成分（$ \mathcal{D}_t $）、持続成分（$ \mathcal{E}_t $）を含む生成モデルに従うものとする。
• スパース信号ベクトル $ x_t $ の時間的変化を1階自己回帰（AR-1）モデルで記述し、$ x_t = F_t x_{t-1} + \nu_t $、$ \nu_t \sim \mathcal{N}(0, Q_t) $ とする。このモデルは時間的相関を捉える。
• 過去のサポート推定値を現在のサポートの予測として用い、カルマンフィルタを用いてサポート相関モデルのパラメータを再帰的に推定・更新する。
• カルマンフィルタによる予測サポートを部分的事前知識として用いる修正圧縮センシング（modified-CS）問題を定式化し、再構成精度を向上させる。
• サポート予測付き修正CSを、時間経過とともに収集された $ L_t = M_t - S_t $ を用いて、再帰的低ランク部分空間推定と統合する。
• 背景を低ランクで時間変動する成分として表現するため、$ L_t = U x_t $ とし、$ U $ を正規直交行列、$ x_t $ をゆっくり変化するサポートを持つスパースベクトルとする。

実験結果

リサーチクエスチョン

• RQ1 時間的・空間的に相関するスパースノイズのサポートにおける時間的相関を活用することで、大規模で相関するノイズ下でも再帰的スパース信号復元の性能を向上させることができるか？
• RQ2 カルマンフィルタによるサポート予測を修正圧縮センシングフレームワークに統合することで、再構成精度と安定性を向上させることができるか？
• RQ3 サポート予測付き修正CSアプローチが、どのような条件下で再帰的スパース復元において安定的かつ有界誤差を達成するか？
• RQ4 提案手法は、動的背景と動きのある前景を効果的に分離できるか。特に、前景を注目信号として扱う場合に有効か？
• RQ5 相関スパースノイズモデル下で、ReProCSの性能は標準的な再帰的ロバストPCAおよび圧縮センシング手法と比較してどのように差をつけるか？

主な発見

• 提案された相関モデル下で、サポート予測付き修正CSフレームワークは、時間的に不変で有界な誤差を伴うスパース信号の安定的復元を達成する。
• カルマンフィルタを用いたサポート予測の導入により、特に時間的に相関するサポートを持つノイズ下で、標準的な圧縮センシングに比べて再構成精度が顕著に向上する。
• サポート構造の時間的相関を活用することで、ノイズサポートサイズが大きくても、再帰的でリアルタイムなスパース信号復元が可能となる。
• モデルは、サポート変化がバースト的に発生すること（$ d $ フレームごと）を示しており、新しい成分が追加され、古い成分が減衰する。これは、現実の動画やfMRIデータのダイナミクスと整合的である。
• 理論的解析により、新しい成分 $ (x_t)_{\mathcal{A}_{jd}} $ の分散が短時間 $ \Delta_d \ll d $ で $ \Sigma_{\mathcal{A}_{jd}} $ に収束することが確認され、安定した信号成長が保証される。
• $ \mathcal{D}_t $ に属する成分の減衰が指数関数的にゼロに近づくことが示され、短い過渡期間を経てこれらの成分を無視してもよいという仮定の妥当性が裏付けられる。