[論文レビュー] RES-PCA: A Scalable Approach to Recovering Low-rank Matrices

Chong Peng, Chenglizhao Chen+3 more|arXiv (Cornell University)|Apr 16, 2019

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、特異値分解（SVD）の計算を必要とせず、データ内のグループ構造的情報を活用することで、データサイズおよび次元の両方において線形計算複雑性を達成するスケーラブルなロバストPCA手法であるRES-PCAを提案する。この手法は、真のランクが未知の場合でも、AltProjなどの最先端手法に比べて高速かつスケーラブルであり、実世界のデータセットにおいて低ランク行列回復、シャドウ除去、異常検出の各タスクで優れた性能を示す。

ABSTRACT

Robust principal component analysis (RPCA) has drawn significant attentions due to its powerful capability in recovering low-rank matrices as well as successful appplications in various real world problems. The current state-of-the-art algorithms usually need to solve singular value decomposition of large matrices, which generally has at least a quadratic or even cubic complexity. This drawback has limited the application of RPCA in solving real world problems. To combat this drawback, in this paper we propose a new type of RPCA method, RES-PCA, which is linearly efficient and scalable in both data size and dimension. For comparison purpose, AltProj, an existing scalable approach to RPCA requires the precise knowlwdge of the true rank; otherwise, it may fail to recover low-rank matrices. By contrast, our method works with or without knowing the true rank; even when both methods work, our method is faster. Extensive experiments have been performed and testified to the effectiveness of proposed method quantitatively and in visual quality, which suggests that our method is suitable to be employed as a light-weight, scalable component for RPCA in any application pipelines.

研究の動機と目的

• 既存のRPCA手法がSVDに依存するため、データサイズに比例して二乗または三乗の計算複雑性を示すという問題に対処すること。
• 真の行列ランクの事前知識がなくても有効であるような、スケーラブルで軽量なRPCA手法を開発すること。
• 低ランク成分に内在するグループ構造を活用して、SVDに基づく最適化を置き換え、線形時間計算を可能にすること。
• 本手法の性能を、シャドウ除去や異常検出といった実世界の応用において評価すること。

提案手法

• RES-PCAは、SVD計算に依存せずに、低ランク行列とスパース行列の分解としてRPCAを定式化する。
• 最適化には増大ラグランジュ法（ALM）を用い、各イテレーションで行列分解を実行しない。
• データポイント間の幾何学的およびグループ構造的類似性を活用して、低ランク構造を暗黙的にモデル化する。
• 核ノルムの代わりに、集合的な低ランクパターンを捉えるグループベースの正則化を導入する。
• アルゴリズムは、サンプルサイズ $n$ および次元 $d$ の両方において線形複雑性を達成し、大規模データに対してスケーラブルである。
• AltProjなどの手法とは異なり、真のランクを入力として必要としない。

実験結果

リサーチクエスチョン

• RQ1 SVD計算を回避しつつも高い回復精度を維持できるロバストPCA手法を設計可能か？
• RQ2 真のランクが未知の場合、RES-PCAの性能はAltProjなどの最先端手法と比べてどの程度優れているか？
• RQ3 データ内のグループ構造を活用することで、低ランク回復の効率性とスケーラビリティはどの程度向上するか？
• RQ4 RES-PCAは、線形時間複雑性を有しながらも、シャドウ除去や異常検出といった実世界のタスクを効果的に処理できるか？

主な発見

• RES-PCAは、複数のデータセットにおける実行時間測定を通じて、実証的にデータ次元 $d$ およびサンプルサイズ $n$ に対して線形時間複雑性を達成している。
• AltProjで真のランクが入手可能であっても、RES-PCAはその速度で上回り、ランクが未知の場合にAltProjが失敗する状況でも成功する。
• 顔画像のシャドウ除去において、RES-PCAは被験者1および被験者2の両方の画像からシャドウを効果的に除去したが、他の手法は被験者1では失敗した。
• USPSの0-9の数字データにおける異常検出において、RES-PCAはすべての「7」およびいくつかの異常な「1」を外れ値として正しく同定した。これは、スパース成分 $S$ の高い $\ell_2$ ノルムによって示された。
• 全実験における平均イテレーション回数は23～25回であり、30イテレーション以内に収束した。これは、安定的かつ効率的な最適化を示している。
• 視覚的および定量的結果から、RES-PCAは従来のSVDベースのRPCA手法に比べ、優れた回復品質とスケーラビリティを実現していることが確認された。