[論文レビュー] Guarantees of Riemannian Optimization for Low Rank Matrix Recovery

Ke Wei, Jian‐Feng Cai+2 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 52被引用数 13

ひとこと要約

本稿は、低ランク行列回復のためのリーマン最適化アルゴリズム—特にリーマン勾配降下法と再起動付きリーマン共役勾配法—の理論的収束保証を確立する。初期化が1ステップハードスレッショーディングを用いる限り、制限等長定数 $ R_{3r} $ が $ C_\rho / \tilde{r} $ より小さいとき、真のランク$ r $ 行列への線形収束が保証される。

ABSTRACT

We establish theoretical recovery guarantees of a family of Riemannian optimization algorithms for low rank matrix recovery, which is about recovering an $m imes n$ rank $r$ matrix from $p < mn$ number of linear measurements. The algorithms are first interpreted as iterative hard thresholding algorithms with subspace projections. Based on this connection, we show that provided the restricted isometry constant $R_{3r}$ of the sensing operator is less than $C_κ/\sqrt{r}$, the Riemannian gradient descent algorithm and a restarted variant of the Riemannian conjugate gradient algorithm are guaranteed to converge linearly to the underlying rank $r$ matrix if they are initialized by one step hard thresholding. Empirical evaluation shows that the algorithms are able to recover a low rank matrix from nearly the minimum number of measurements necessary.

研究の動機と目的

• 低ランク行列回復におけるリーマン最適化アルゴリズムの理論的回復保証を確立すること。
• 部分空間射影を介してリーマン最適化と反復的ハードスレッショーディングを結びつけること。
• リーマン勾配降下法と再起動付きリーマン共役勾配法の収束を分析すること。
• 収束が制限等長定数 $ R_{3r} $ と行列の条件数にどのように依存するかを定量化すること。
• 良好な初期化点から出発する場合に線形収束が保証される条件を提供すること。

提案手法

• リーマン最適化アルゴリズムを部分空間射影を伴う反復的ハードスレッショーディングとして解釈する。
• 低ランク行列多様体上でリーマン勾配降下法と再起動付きリーマン共役勾配法を分析する。
• フロベニウスノルムと行列特異値を用いて誤差伝播の再帰関係を導出する。
• 制限等長定数 $ R_{2r} $、$ R_{3r} $ および条件数 $ \rho $ を含む3項再帰を用いて収縮バウンドを確立する。
• 数学的帰納法と2次再帰の固有値解析を用いて、閾値条件を満たす場合の線形収束を証明する。
• $ \tau_1 $、$ \tau_2 $ および $ \rho $ を定義し、収束速度を特徴づけ、$ \mu < 1 $ を満たす十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列回復におけるリーマン勾配降下法が線形収束する条件は何か？
• RQ2 制限等長定数 $ R_{3r} $ はリーマン最適化アルゴリズムの収束にどのように影響するか？
• RQ3 再起動付きリーマン共役勾配法は、同様の条件下で線形収束を達成できるか？
• RQ4 初期推定値の役割は何か？1ステップハードスレッショーディングはどのように収束性を向上させるか？
• RQ5 収束解析における条件数 $ \rho $ への依存度をどのように軽減できるか？

主な発見

• リーマン勾配降下法の線形収束は、$ R_{3r} < C_\rho / \sqrt{r} $ を満たす場合に保証され、ここで $ C_\rho $ は条件数 $ \rho $ に依存する。
• 再起動付きリーマン共役勾配法も、同じ $ R_{3r} $ 条件の下で線形収束を達成する。
• 初期点が1ステップハードスレッショーディングによって得られることで、解に十分な近さが保証され、収束が確立される。
• 誤差は $ c_l \leq \mu^l c_0 $ と decay し、$ \mu < 1 $ となるように $ \mu $ が $ R_{2r} $、$ R_{3r} $ および条件数から導出される。
• 収束速度は $ \tau_1 $、$ \tau_2 $ および和 $ \gamma = \tau_1 + \tau_2 $ に依存し、$ \gamma < 1 $ が $ \mu < 1 $ を満たす十分条件である。
• 実験結果は、アルゴリズムが回復に必要な最小に近い測定回数から低ランク行列を回復できることを確認している。