[論文レビュー] Fast and Near-Optimal Matrix Completion via Randomized Basis Pursuit

Zhisu Zhu, Anthony Man–Cho So+1 more|ArXiv.org|May 11, 2009

Sparse and Compressive Sensing Techniques参考文献 39被引用数 11

ひとこと要約

本稿では、ランダム化ベースプルーフィング（RBP）アルゴリズムを提案し、$ O(nr\log n) $ のエントリをサンプリングするだけで、ランク-$ r $、$ n \times n $ の行列を高速かつ近似的に最適に復元する。この方法により、従来の半定値計画法（SDP）アプローチと比較して、サンプリング量と実行時間の両方を顕著に削減でき、$ O(nr^2\log n + n^2r) $ の実行時間で、大幅に効率的かつスケーラブルである。

ABSTRACT

Motivated by the philosophy and phenomenal success of compressed sensing, the problem of reconstructing a matrix from a sampling of its entries has attracted much attention recently. Such a problem can be viewed as an information-theoretic variant of the well-studied matrix completion problem, and the main objective is to design an efficient algorithm that can reconstruct a matrix by inspecting only a small number of its entries. Although this is an impossible task in general, Candès and co-authors have recently shown that under a so-called incoherence assumption, a rank $r$ $n imes n$ matrix can be reconstructed using semidefinite programming (SDP) after one inspects $O(nr\log^6n)$ of its entries. In this paper we propose an alternative approach that is much more efficient and can reconstruct a larger class of matrices by inspecting a significantly smaller number of the entries. Specifically, we first introduce a class of so-called stable matrices and show that it includes all those that satisfy the incoherence assumption. Then, we propose a randomized basis pursuit (RBP) algorithm and show that it can reconstruct a stable rank $r$ $n imes n$ matrix after inspecting $O(nr\log n)$ of its entries. Our sampling bound is only a logarithmic factor away from the information-theoretic limit and is essentially optimal. Moreover, the runtime of the RBP algorithm is bounded by $O(nr^2\log n+n^2r)$, which compares very favorably with the $Ω(n^4r^2\log^{12}n)$ runtime of the SDP-based algorithm. Perhaps more importantly, our algorithm will provide an exact reconstruction of the input matrix in polynomial time. By contrast, the SDP-based algorithm can only provide an approximate one in polynomial time.

研究の動機と目的

• 推薦システム、センサーネットワーク、モーションからの構造など、応用を背景に、最小限の観測エントリ数から低ランク行列を再構築する課題に取り組む。
• 従来の半定値計画法（SDP）に基づく行列補完手法の計算上の非効率性を克服する。これらの手法は $ \Omega(n^4r^2\log^{12}n) $ の実行時間を要する。
• SDPに基づく手法が近似解しか提供しないのに対し、多項式時間内で正確な再構築を達成する手法を開発する。
• 非一様行列よりも広いクラスをカバーする「$ k $-安定行列」の概念を導入し、より広範な行列の再構築を可能にする。
• 行列ランクが事前に不明な場合でも効率的に動作するランダム化アルゴリズムを設計し、実用的応用性を高める。

提案手法

• ランダムにエントリをサンプリングし、反復的な列選択を用いて低ランク行列の基底列を同定するランダム化ベースプルーフィング（RBP）アルゴリズムを提案する。
• 各列が現在の基底の部分空間に少なくとも $ k+1 $ 個のエントリを持つという性質を持つ「$ k $-安定行列」の概念を導入し、回復に十分な情報が得られることを保証する。
• 反復回数を制御するための停止閾値 $ \Lambda = \frac{1}{k+1} \log\left(\frac{\min\{m,n\}}{\delta}\right) $ を導入し、サンプリング効率と高確率成功の両立を図る。
• 各反復でランダムな列選択戦略を適用し、段階 $ j $ における基底列の選択確率は下限 $ \frac{k+1}{n-j+1} $ で抑えられる。
• 集中不等式と帰納的解析を用いて、$ \Lambda $ 回の反復内で全 $ r $ 個の基底列を正しく特定する確率を上限付ける。
• 実行時間の複雑さを $ O(mr^2\Lambda + mnr) $ として確立し、$ k $-安定行列では $ O\left(\frac{mnr^2}{k+1}\log\left(\frac{\min\{m,n\}}{\delta}\right) + mnr\right) $ に簡略化される。

実験結果

リサーチクエスチョン

• RQ1 既存のSDPに基づく手法よりも顕著に少ないエントリ数で、ランダム化アルゴリズムが正確な行列補完を達成できるか？
• RQ2 計算的に効率的な手法を用いて、低ランク行列を高確率で再構築するための最小エントリ数は何か？
• RQ3 行列ランクの事前知識がなくても動作するように、アルゴリズムをどのように設計できるか？
• RQ4 サンプリング複雑さを情報理論的下界の対数的要因の範囲内にまで低減できるか？
• RQ5 現実的な仮定の下で、行列補完におけるサンプリング効率と計算複雑さのトレードオフは何か？

主な発見

• RBPアルゴリズムは、$ k $-安定なランク-$ r $ の $ n \times n $ 行列を、高確率で $ O(nr\log n) $ のエントリをサンプリングするだけで再構築可能であり、これは情報理論的下界の対数的要因の範囲内に収まる。
• RBPアルゴリズムの実行時間は $ O(nr^2\log n + n^2r) $ で上限付けられており、SDPに基づく手法の $ \Omega(n^4r^2\log^{12}n) $ の実行時間と比較して顕著な改善を示す。
• SDPに基づく手法が近似解しか提供しないのに対し、本手法は多項式時間内で正確な再構築を達成する。
• 成功確率は少なくとも $ 1 - \delta $ であり、サンプリング境界は $ \delta $ に対して対数的に依存するため、高い信頼性が保証される。
• 行列ランクが事前に不明な場合でも、実行中にランクを段階的に推定するRBPの変種を用いることで、本手法は依然として有効である。
• $ k $-安定行列のクラスは、すべての非一様行列を含むため、従来の結果を一般化しつつも、強い理論的保証を維持している。