[論文レビュー] Solving Principal Component Pursuit in Linear Time via $l_1$ Filtering

Risheng Liu, Zhouchen Lin+2 more|arXiv (Cornell University)|Aug 26, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用数 28

ひとこと要約

本稿では、$l_1$フィルタリングという新規アルゴリズムを提案する。このアルゴリズムは、データ行列のサイズが$m \times n$で、低ランクが$r$である場合、線形時間$O(r^2(m+n))$で主成分パーシュート（PCP）問題を正確に解く。シード行列と行および列に対する$l_1$-ノルムフィルタリングを活用することで、フル行列に対する高コストなSVDを回避し、大規模なコンピュータビジョンタスクにおける低ランクおよびスパース成分の効率的かつ高並列性を有する回復を可能にする。

ABSTRACT

In the past decades, exactly recovering the intrinsic data structure from corrupted observations, which is known as robust principal component analysis (RPCA), has attracted tremendous interests and found many applications in computer vision. Recently, this problem has been formulated as recovering a low-rank component and a sparse component from the observed data matrix. It is proved that under some suitable conditions, this problem can be exactly solved by principal component pursuit (PCP), i.e., minimizing a combination of nuclear norm and $l_1$ norm. Most of the existing methods for solving PCP require singular value decompositions (SVD) of the data matrix, resulting in a high computational complexity, hence preventing the applications of RPCA to very large scale computer vision problems. In this paper, we propose a novel algorithm, called $l_1$ filtering, for \emph{exactly} solving PCP with an $O(r^2(m+n))$ complexity, where $m imes n$ is the size of data matrix and $r$ is the rank of the matrix to recover, which is supposed to be much smaller than $m$ and $n$. Moreover, $l_1$ filtering is \emph{highly parallelizable}. It is the first algorithm that can \emph{exactly} solve a nuclear norm minimization problem in \emph{linear time} (with respect to the data size). Experiments on both synthetic data and real applications testify to the great advantage of $l_1$ filtering in speed over state-of-the-art algorithms.

研究の動機と目的

• 特異値分解（SVD）に依存する既存のRPCA手法がデータサイズに比例して2乗的にスケーリングする計算ボトルネックを解消すること。
• 標準的なSVDベースの手法が非効率となる非常に大規模なデータ行列において、低ランクおよびスパース成分の正確な回復を可能にすること。
• データサイズに対して線形時間計算量を達成する手法を開発し、コンピュータビジョンで一般的な大規模データセットにロバストPCAを適用可能にする。
• 現代のコンピューティングアーキテクチャを活用してさらなる高速化を実現できる高並列性を確保すること。
• 正確な精度を損なわずに、標準的なPCP条件のもとで理論的に裏付けられた正確な解を提供すること、特に大規模スケールでも有効であること。

提案手法

• 観測データ行列$\mathbf{M}$からランダムな部分行列（シード行列）を選択し、低ランク成分$\mathbf{L}_0$を推定する。
• シード行列の特異値分解（SVD）を用いて低ランク近似を抽出し、これに基づいてさらなるフィルタリングの基盤とする。
• シード行列が張る部分空間への$l_1$距離を最小化することで、列および行の部分行列（$\mathbf{L}^c$および$\mathbf{L}^r$）を$l_1$-ノルムフィルタリングにより回復する。
• 一般化されたニストローム法を用いて、残りの行列要素を再構築し、シード行列、列部分行列、および行部分行列を組み合わせてフルな低ランク行列を推定する。
• フィルタリングステップを$l_1$最小化を用いた凸最適化問題として定式化し、誤差成分のスパarsityを促進する。
• アルゴリズムが元のデータ行列に対するフルSVDを回避することで、データサイズに対して線形時間計算量$O(r^2(m+n))$を達成する。

実験結果

リサーチクエスチョン

• RQ1 データサイズに対して線形時間でPCP問題を解くロバストPCAアルゴリズムを設計可能か？
• RQ2 $l_1$フィルタリングは、フルデータ行列に対するSVDを実行せずに、低ランクおよびスパース成分を効果的に回復できるか？
• RQ3 提案手法は、大規模データにおいてもPCPの正確な回復保証を維持しながら、顕著な高速化を達成できるか？
• RQ4 実世界の動画データにおいて、$l_1$フィルタリングはS-PCP や RSL といった最先端手法と比べて、精度と速度の両面で優れているか？
• RQ5 大規模な行列に対して、アルゴリズムは効果的に並列化可能で、計算をさらに高速化できるか？

主な発見

• $l_1$フィルタリングアルゴリズムは、データサイズに対して線形時間計算量$O(r^2(m+n))$を達成し、データサイズに対して線形時間で核ノルム最小化を正確に解く最初の手法である。
• 「ラボ」動画データセット（$240 \times 320$、887フレーム）において、$l_1$フィルタリングは誤検出率（FNR）8.62%および誤検出率（FPR）8.76%を達成し、S-PCPと同等の精度を維持しながら、著しく高速（48.99秒対10,897.96秒）であった。
• 「ミーティング」動画データセット（$576 \times 720$、700フレーム）において、$l_1$フィルタリングは178.74秒で完了し、収束しなかったRSLを上回り、メディアンフィルタリングと同等の速度を達成しながら、優れた前景・背景分離を実現した。
• 本手法は、「ミーティング」シーケンスにおいて、低ランクの背景とスパースな前景を正常に回復した。メディアンフィルタリングは、ゆっくり動く物体のため失敗したが、本手法はグローバル構造の回復に対して高いロバスト性を示した。
• 実験により、$l_1$フィルタリングは非常に並列化可能であり、メインメモリ容量を超える大規模な行列に対しても効率的なスケーリングが可能であることが示された。
• 本アルゴリズムは、非常に大規模なデータ行列でかつ内部ランクが小さい場合でも、標準的なPCP条件のもとで理論的な正確な回復保証を維持している。