[論文レビュー] Matrix Completion from $O(n)$ Samples in Linear Time

David Gamarnik, Quan Li+1 more|arXiv (Cornell University)|Feb 8, 2017

Sparse and Compressive Sensing Techniques参考文献 25被引用数 8

ひとこと要約

本稿では、標準的な非一様性、有界ランク、条件数の仮定の下で、$n\times n$ の低ランク行列の $\epsilon$-近似回復を、$O(n\log^2(1/\epsilon))$ 個のサンプルと線形時間 $O(n\log^2(1/\epsilon))$ で達成する、新しい行列補完アルゴリズム TAM（Thresholded Alternating Minimization）を提案する。この手法は、単純な交互最小化フレームワーク内に特徴値のしきい値処理と特徴ベクトルの再スケーリングを導入し、スパースなランダム正則二部グラフを用いたサンプリングにより、高速かつ正確な回復を実現する。

ABSTRACT

We consider the problem of reconstructing a rank-$k$ $n imes n$ matrix $M$ from a sampling of its entries. Under a certain incoherence assumption on $M$ and for the case when both the rank and the condition number of $M$ are bounded, it was shown in \cite{CandesRecht2009, CandesTao2010, keshavan2010, Recht2011, Jain2012, Hardt2014} that $M$ can be recovered exactly or approximately (depending on some trade-off between accuracy and computational complexity) using $O(n \, ext{poly}(\log n))$ samples in super-linear time $O(n^{a} \, ext{poly}(\log n))$ for some constant $a \geq 1$. In this paper, we propose a new matrix completion algorithm using a novel sampling scheme based on a union of independent sparse random regular bipartite graphs. We show that under the same conditions w.h.p. our algorithm recovers an $ε$-approximation of $M$ in terms of the Frobenius norm using $O(n \log^2(1/ε))$ samples and in linear time $O(n \log^2(1/ε))$. This provides the best known bounds both on the sample complexity and computational complexity for reconstructing (approximately) an unknown low-rank matrix. The novelty of our algorithm is two new steps of thresholding singular values and rescaling singular vectors in the application of the "vanilla" alternating minimization algorithm. The structure of sparse random regular graphs is used heavily for controlling the impact of these regularization steps.

研究の動機と目的

• 低ランク行列の近似回復を、最適なサンプルおよび計算量の複雑さで達成する行列補完アルゴリズムの開発。
• 従来の $O(n\log n)$ から $O(n\log^2(1/\epsilon))$ へのサンプル複雑さの低減を、線形時間複雑さを維持したまま実現すること。
• 強い集中性と安定性を保証する、スパースなランダム正則二部グラフに基づくサンプリングスキームの設計。
• 特徴値のしきい値処理とベクトルの再スケーリングによる正則化を導入することで、既存の交互最小化手法を改善すること。
• 近似低ランク行列補完における、サンプル複雑さと実行時間の両面で最高の既知の境界を達成すること。

提案手法

• サンプリングの均一性と良好な条件数を保証するため、独立なスパースなランダム正則二部グラフの和に基づく新しいサンプリングスキームを用いる。
• 特徴値のしきい値処理と特徴ベクトルの再スケーリングという2つの主要な正則化ステップを施した「バニラ」な交互最小化アルゴリズムを適用する。
• 理論的分析は、特に構成モデルを用いたランダム正則グラフの集中不等式に依存し、サンプリングプロセスにおける乖離を制御する。
• 真の行列 $M$ と再構築された行列 $\tilde{M}$ 間のフロベニウスノルム誤差に対する高確率的バウンドを確立する。
• 行列ベルンシュタイン不等式とスイッチングに基づく集中結果を用いて、経験的グラム行列が単位行列から逸脱する度合をバウンドする。
• 境界の理論的保証は、標準的な仮定（有界ランク $k$、条件数 $\kappa$、非一様性パラメータ $\mu_0$）の下で得られる。

実験結果

リサーチクエスチョン

• RQ1 サンプル複雑さを $n$ に関して対数的以下に抑えることができ、かつ線形時間で行列補完が達成可能か？
• RQ2 交互最小化のサンプル複雑さを $\log n$ 要素分低減でき、精度を損なわずに行えるか？
• RQ3 スパースなランダム正則二部グラフによるサンプリングスキームが、行列補完におけるより良い集中性とより速い収束性を実現できるか？
• RQ4 特徴値のしきい値処理とベクトル再スケーリングにより、スパースなサンプリング下でも交互最小化が安定化できるか？
• RQ5 標準的な仮定の下で、近似行列補完のための $O(n\log^2(1/\epsilon))$ サンプル複雑さは最適か？

主な発見

• 提案された TAM アルゴリズムは、高確率的に $O(n\log^2(1/\epsilon))$ 個のサンプルで、フロベニウスノルムにおいて $\epsilon$-近似回復を達成する。
• アルゴリズムは線形時間 $O(n\log^2(1/\epsilon))$ で実行され、従来の超線形時間の手法に比べ顕著な改善を示す。
• サンプル複雑さは対数的要因の範囲で最適であり、従来の交互最小化手法の $O(n\log n)$ の境界を改善する。
• 特徴値のしきい値処理とベクトル再スケーリングの導入により、交互最小化プロセスが安定化され、スパースなサンプリング下でも収束が可能になる。
• 理論的分析により、スパースなランダム正則二部グラフによるサンプリングスキームが、経験的グラム行列が単位行列のまわりに強い集中性を示すことを確認した。
• 本手法は、近似低ランク行列補完におけるサンプル複雑さと計算効率の両面で、最高の既知のトレードオフを達成している。