[論文レビュー] Non-convex Robust PCA

Praneeth Netrapalli, U. N. Niranjan+3 more|CaltechAUTHORS (California Institute of Technology)|Oct 28, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用数 108

ひとこと要約

本稿では、ロバストPCAのための非凸な交互射影法を提案する。この手法は、残差を低ランク行列集合およびスパース行列集合の間で交互に射影することで、凸法と同一の条件下で正確な回復を達成する。計算時間は $O(r^2mn \text{ log}(1/\theta))$ であり、反復回数は $O(\text{log}(1/\theta))$ で、PCAと同等の効率性を達成する。同時に、明示的なグローバル収束性を保証し、IALMなどの凸ソルバーに比べて優れた速度性能を示す。

ABSTRACT

We propose a new method for robust PCA -- the task of recovering a low-rank matrix from sparse corruptions that are of unknown value and support. Our method involves alternating between projecting appropriate residuals onto the set of low-rank matrices, and the set of sparse matrices; each projection is {\em non-convex} but easy to compute. In spite of this non-convexity, we establish exact recovery of the low-rank matrix, under the same conditions that are required by existing methods (which are based on convex optimization). For an $m imes n$ input matrix ($m \leq n)$, our method has a running time of $O(r^2mn)$ per iteration, and needs $O(\log(1/ε))$ iterations to reach an accuracy of $ε$. This is close to the running time of simple PCA via the power method, which requires $O(rmn)$ per iteration, and $O(\log(1/ε))$ iterations. In contrast, existing methods for robust PCA, which are based on convex optimization, have $O(m^2n)$ complexity per iteration, and take $O(1/ε)$ iterations, i.e., exponentially more iterations for the same accuracy. Experiments on both synthetic and real data establishes the improved speed and accuracy of our method over existing convex implementations.

研究の動機と目的

• ロバストPCAにおける凸最適化手法の高い計算コストが大規模データで顕著になる問題に対処すること。
• 標準PCAの低計算複雑性と凸手法のグローバル収束保証を併せ持つ非凸アルゴリズムの設計。
• 凸アプローチと同等の理論的条件下で、低ランクおよびスパース成分の正確な回復を達成すること。
• 実世界の応用、特に動画の前景・背景分離において、顕著な高速化と視覚的品質の向上を示すこと。

提案手法

• 手法は、非凸な交互射影を実行する：まず、切り捨て特異値分解（SVD）を用いて低ランク行列集合へ、次にハードスレッショルド処理を用いてスパース行列集合へ射影する。
• 各反復では、残差行列のランク-$r$ SVDを用いた低ランク近似を計算した後、スパース性を強制するためにハードスレッショルド処理を実行する。
• アルゴリズムは、反復を通じて低ランクおよびスパース成分の誤差を収縮させるように設計されており、収束を保証する。
• 理論的分析により、決定論的スパarsityおよび非一様性条件の下での誤差収縮が確立され、新しい行列摂動解析を用いて境界が導出された。
• 収束精度 $\epsilon$ に到達するには $O(\text{log}(1/\epsilon))$ 回の反復が必要であり、PCAと同等の収束レートを達成する。
• 1反復あたりの計算量は $O(r^2mn)$ であり、$r \ll m,n$ の場合、PCAの $O(rmn)$ に非常に近いほぼ最適な複雑性を有する。

実験結果

リサーチクエスチョン

• RQ1 凸法と同等の条件下で、非凸な交互射影法が低ランクおよびスパース成分の正確な回復を達成できるか？
• RQ2 提案手法が $O(\text{log}(1/\epsilon))$ 回の反復で線形収束を達成し、PCAと同等の収束速度を示すか？
• RQ3 $O(r^2mn)$ の低反復計算量を維持しつつ、IALMなどの凸ソルバーに比べて速度と精度で優れるか？
• RQ4 本手法は、大規模な合成データおよび実世界の動画データセット（特に前景・背景分離タスク）において、実際の応用でどのように性能を発揮するか？

主な発見

• 提案された非凸なロバストPCA手法は、凸法と同等の理論的条件下で、定数係数の差異を除き、低ランクおよびスパース成分の正確な回復を達成する。
• 本手法は線形収束を示し、$\epsilon$-精度に到達するには $O(\text{log}(1/\epsilon))$ 回の反復で十分である。これに対して、凸ソルバーは $O(1/\epsilon)$ 回の反復を要する。
• ショッピングモールデータセットでは、NcRPCAはランク20、$\|S\|_0 = 95,418,96$ の条件下で292.1秒で解を算出し、IALMが783.4秒を要しランク286の解を出力したのに対し、優れた性能を示した。
• カーテンデータセットでは、NcRPCAはランク1の解を39.5秒で算出し、$\|S\|_0 = 53,897,769$ であった。一方、IALMは989.0秒を要しランク701の解を出力した。
• 視覚的結果では、NcRPCAは影や反射などのアーティファクトが少なく、よりクリアな前景・背景分離を実現している。
• 特にスパarsityおよび非一様性が高くなる領域では、凸法が中間段階のランクが著しく高くなるため、計算時間と中間解の品質において、IALMに比べて本手法が顕著に優れている。