[論文レビュー] Guarantees of Riemannian Optimization for Low Rank Matrix Completion

Ke Wei, Jian‐Feng Cai+2 more|arXiv (Cornell University)|Mar 21, 2016

Sparse and Compressive Sensing Techniques参考文献 38被引用数 26

ひとこと要約

本稿は、低ランク行列補完問題におけるリーマン最適化アルゴリズム（勾配降下法および共役勾配降下法）の理論的回復保証を初めて提示する。1ステップのハードスレッディング初期化のもとで、サンプリング複雑度 $ m = O(n^{1.5}r\log^{1.5}n) $ の下で線形収束を証明し、リサンプリングされたリーマン勾配降下法初期化を用いることで、$ m = O(nr^2\log^2n) $ に改善される。両者とも非一様性および有界性の仮定の下で成立する。

ABSTRACT

We study the Riemannian optimization methods on the embedded manifold of low rank matrices for the problem of matrix completion, which is about recovering a low rank matrix from its partial entries. Assume $m$ entries of an $n imes n$ rank $r$ matrix are sampled independently and uniformly with replacement. We first prove that with high probability the Riemannian gradient descent and conjugate gradient descent algorithms initialized by one step hard thresholding are guaranteed to converge linearly to the measured matrix provided \begin{align*} m\geq C_κn^{1.5}r\log^{1.5}(n), \end{align*} where $C_κ$ is a numerical constant depending on the condition number of the underlying matrix. The sampling complexity has been further improved to \begin{align*} m\geq C_κnr^2\log^{2}(n) \end{align*} via the resampled Riemannian gradient descent initialization. The analysis of the new initialization procedure relies on an asymmetric restricted isometry property of the sampling operator and the curvature of the low rank matrix manifold. Numerical simulation shows that the algorithms are able to recover a low rank matrix from nearly the minimum number of measurements.

研究の動機と目的

• 低ランク行列補完におけるリーマン最適化手法の理論的収束保証を確立すること。
• リーマン勾配降下法および共役勾配降下法が真の低ランク行列に線形収束するためのサンプリング複雑度を分析すること。
• 新たなリサンプリングされたリーマン勾配降下法初期化手順を導入することで、サンプリング複雑度を低減すること。
• 低ランク多様体の曲率および非対称制限等方性性の理論的分析を拡張すること。
• ノイズおよび最小限のサンプリング条件下での数値シミュレーションを通じて、アルゴリズムのロバストネスと効率性を検証すること。

提案手法

• 固定ランク行列の埋め込みリーマン多様体上での最適化として行列補完問題を定式化する。
• 接空間への射影を用いて低ランク構造を維持するリーマン勾配降下法および共役勾配降下法を適用する。
• 十分なサンプリング下で真の行列に近接するよう保証するため、1ステップのハードスレッディングを初期化に用いる。
• リサンプリングされたリーマン勾配降下法初期化を導入し、サンプリング複雑度を $O(n^{1.5}r\log^{1.5}n)$ から $O(nr^2\log^2n)$ に低減する。
• サンプリング作用素の非対称制限等方性性と多様体の曲率を用いて、誤差伝搬を制限する。
• 反復値と真の行列との差のスペクトルノルムおよびフロベニウスノルムの境界を用いて収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列補完におけるリーマン最適化手法が、理論的に線形収束することが保証されるか？
• RQ2 リーマン勾配降下法が低ランク行列を高い確率で回復するための最小サンプリング複雑度は何か？
• RQ3 改善された初期化を用いることで、$O(n^{1.5}r\log^{1.5}n)$ よりも低いサンプリング複雑度に抑えることができるか？
• RQ4 低ランク多様体の曲率およびサンプリング作用素の制限等方性性が収束に与える影響は何か？
• RQ5 アルゴリズムは、ノイズやデータの近似的な低ランク構造に対してどの程度ロバストであるか？

主な発見

• 1ステップのハードスレッディング初期化を用いたリーマン勾配降下法は、$ m \geq C_{\kappa}n^{1.5}r\log^{1.5}(n) $ の下で、真の行列に高い確率で線形収束する。ここで $ C_{\kappa} $ は条件数に依存する。
• リサンプリングされたリーマン勾配降下法初期化により、必要なサンプリング複雑度が $ m \geq C_{\kappa}nr^2\log^2(n) $ に低減され、初期の境界を改善する。
• 理論的分析は、サンプリング作用素の非対称制限等方性性と低ランク行列多様体の曲率に依存する。
• 高確率でのサンプリング条件下で、フロベニウスノルムにおいて1反復あたり収束率 $ \frac{5}{6} $ の線形収束が確立される。
• 数値的シミュレーションにより、アルゴリズムが最小限の測定数からも低ランク行列を回復できることを確認した。
• 加法的なガウス白色ノイズに対してもアルゴリズムがロバストであることが示され、近似的に低ランクな設定への応用可能性が示唆された。