[論文レビュー] Nearly-optimal Robust Matrix Completion

Yeshwanth Cherapanamjeri, Kartik Gupta+1 more|arXiv (Cornell University)|Jun 23, 2016

Sparse and Compressive Sensing Techniques参考文献 9被引用数 20

ひとこと要約

本稿では、欠損および汚染されたエントリを洗練するために低ランク行列推定とハードスレッショルドを交互に実行する、ロバスト行列補完（RMC）のための射影勾配降下法を提案する。本手法は、ほぼ最適なサンプル複雑度 $O(rn\log n)$ とほぼ最適な汚染耐性 $O(1/\mu^2 r)$ を達成し、ほぼ線形時間複雑度 $O(|\Omega|r + (m+n)r^2 + r^3)$ を実現し、従来の凸緩和に基づく手法に比べ顕著な改善を示す。

ABSTRACT

In this paper, we consider the problem of Robust Matrix Completion (RMC) where the goal is to recover a low-rank matrix by observing a small number of its entries out of which a few can be arbitrarily corrupted. We propose a simple projected gradient descent method to estimate the low-rank matrix that alternately performs a projected gradient descent step and cleans up a few of the corrupted entries using hard-thresholding. Our algorithm solves RMC using nearly optimal number of observations as well as nearly optimal number of corruptions. Our result also implies significant improvement over the existing time complexity bounds for the low-rank matrix completion problem. Finally, an application of our result to the robust PCA problem (low-rank+sparse matrix separation) leads to nearly linear time (in matrix dimensions) algorithm for the same; existing state-of-the-art methods require quadratic time. Our empirical results corroborate our theoretical results and show that even for moderate sized problems, our method for robust PCA is an an order of magnitude faster than the existing methods.

研究の動機と目的

• 部分的に観測され、汚染されたエントリからなる低ランク行列を回復するロバスト行列補完（RMC）問題に対処すること。
• ほぼ最適なサンプル複雑度 $O(rn\\log n)$ とほぼ最適な汚染率 $O(1/\mu^2 r)$ を達成し、情報理論的限界に一致させること。
• 従来の凸緩和に基づく手法と比較して、時間複雑度を低減すること。これらの手法は $O(m^2n)$ のスケーリングを示す。
• RMCの解を活用することで、ロバストPCA（RPCA）をより高速に実現し、行列次元に対してほぼ線形時間にすること。
• 非凸かつ交互な射影勾配降下法が、低ランク集合とスparser集合の上に定義された場合の収束保証を明示的に示すこと。

提案手法

• 部分的に観測され、汚染されたエントリから低ランク行列 $L^*$ を推定するために、射影勾配降下（PGD）フレームワークを用いる。
• 低ランク行列における射影勾配ステップと、汚染されたエントリを特定・修正するハードスレッショルドステップを交互に実行する。
• 非凸集合への交互な射影を実行する：ランク-$r$ 行列とスパース行列。凸緩和を回避する。
• 欠損エントリとスパース汚染の両方を考慮した、独自の誤差解析を採用する。これらは回復過程で相互作用を示す。
• サンプリングモデルとして、$\Omega$ が一様にランダムであり、$S^*$ のサポートが $\Omega$ 内に存在するものとし、各行・各列あたり $\rho = O(1/\mu^2 r)$ の割合で汚染エントリが存在するものとする。
• 条件数 $\kappa$ に対して対数的に依存するサンプル複雑度および実行時間の理論的境界を導出する。これは、従来の手法とは異なり、$\kappa$ に対して2乗または5乗のスケーリングを示さない。

実験結果

リサーチクエスチョン

• RQ1 RMCは、$O(rn\log n)$ の観測数と、各行・各列あたり $O(1/\mu^2 r)$ の汚染エントリ割合で、正確に解けるか？
• RQ2 RMCの時間複雑度を、行列次元に対してほぼ線形にまで低減できるか？ その際、最適なサンプル複雑度と汚染耐性を維持できるか？
• RQ3 標準的な非一様性仮定の下で、交互なハードスレッショルドを伴う非凸射影勾配降下法が、RMCの明示的回復を達成できるか？
• RQ4 凸緩和に基づくアプローチと比較して、本手法はサンプル複雑度、汚染耐性、実行時間の点でどのように異なるか？
• RQ5 RMCアルゴリズムを活用することで、ロバストPCA（RPCA）をほぼ線形時間で実現できるか？

主な発見

• 提案手法は、情報理論的下界まで対数的要因を除き、ほぼ最適なサンプル複雑度 $O(rn\log n)$ を達成する。
• 各行・各列あたり $O(1/\mu^2 r)$ の汚染エントリ割合まで耐えることができ、定数因子を除き情報理論的に最適である。
• 実行時間は $O(|\Omega|r + (m+n)r^2 + r^3)$ であり、行列次元に対してほぼ線形であり、従来の凸手法の $O(m^2n)$ より顕著に高速である。
• 本手法により、ロバストPCA（RPCA）の時間複雑度がほぼ線形時間に改善され、最新の手法が二次時間であるのに対し、顕著な高速化が達成される。
• 実験結果では、中程度のサイズの問題に対しても、PG-RMCアルゴリズムは既存のRPCA手法に比べ1桁の速度向上を示し、低サンプリングおよび高汚染状況下でも高い回復確率を達成する。
• 本アルゴリズムのサンプル複雑度は、最終誤差 $\epsilon$ に対して対数的に依存する。また、実行時間およびサンプル複雑度は、条件数 $\kappa$ に対して多対数的（polylogarithmically）に依存するが、従来の手法とは異なり $\kappa$ に対して2乗または5乗のスケーリングを示さない。