[論文レビュー] Low-rank Solutions of Linear Matrix Equations via Procrustes Flow

Stephen Tu, Ross Boczar+3 more|arXiv (Cornell University)|Jul 13, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用数 143

ひとこと要約

本稿では、しきい値付き勾配初期化と低ランク因子分解上の非凸勾配降下法を組み合わせることで、線形測定値から低ランク行列を回復する2段階のアルゴリズム、Procrustes Flowを提案する。標準的な制限等長性条件の下で、真の行列への幾何的収束を確立し、正確な回復には$O((n_1 + n_2)r)$のガウス測定値のみを要し、情報理論的下界に定数倍の誤差で一致する。

ABSTRACT

In this paper we study the problem of recovering a low-rank matrix from linear measurements. Our algorithm, which we call Procrustes Flow, starts from an initial estimate obtained by a thresholding scheme followed by gradient descent on a non-convex objective. We show that as long as the measurements obey a standard restricted isometry property, our algorithm converges to the unknown matrix at a geometric rate. In the case of Gaussian measurements, such convergence occurs for a $n_1 imes n_2$ matrix of rank $r$ when the number of measurements exceeds a constant times $(n_1+n_2)r$.

研究の動機と目的

• 線形測定値からの低ランク行列回復のための理論的収束保証付きのアルゴリズムの開発。
• 行列センシングにおける既存の非凸ヒューリスティクスの理論的保証の欠如に対処すること。
• 標準的なRIP条件のもとで、低ランク因子分解上の勾配降下法が幾何的に収束することの証明。
• ガウス測定値において、情報理論的最小値に定数倍の誤差で一致するサンプル複雑度の境界の確立。

提案手法

• アルゴリズムは2段階のアプローチを採用する：まず、行列空間上で射影勾配法を用いて初期の低ランク推定値を得る。
• 初期化段階では、ランク-$r$ 構造を維持するためのハードしきい値付きのパワー反復を適用し、真の行列へ線形収束する。
• 最適化段階では、低ランク因子$\bm{U}, \bm{V}$上で非凸勾配降下法を実行し、二乗誤差$\|\mathcal{A}(\bm{U}\bm{V}^T) - \bm{b}\|_2^2$を最小化する。
• 正定値行列の場合、$\bm{U} \in \mathbb{R}^{n \times r}$ に対して最適化を行い、$\bm{M} = \bm{U}\bm{U}^T$ を定義し、非凸目的関数を用いる。
• 理論的分析では、制限等長性（RIP）を活用し、$\delta_{4r} \leq 1/25$ の条件下で反復列が幾何的に収束することを確立する。
• 主な技術的ツールには、低ランク因子分解間の距離の境界と行列摂動不等式があり、非凸な最適化の幾何的性質を制御する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列回復のための非凸最適化手法は、標準的な測定条件のもとで幾何的収束を理論的に保証できるか？
• RQ2 局所探索ヒューリスティクスを用いた正確な回復に必要な最小の線形測定値の数は何か？
• RQ3 射影勾配降下法による注意深く設計された初期化は、低ランク行列センシング問題において最適解への収束を可能にするか？
• RQ4 Procrustes Flowアルゴリズムのサンプル複雑度は、行列次元とランクに対して情報理論的限界と比較してどのようにスケーリングされるか？
• RQ5 低ランク因子分解上の勾配降下法は、どのような条件下で偽の局所最適解を回避するか？

主な発見

• 測定演算子$\mathcal{A}$が$\delta_{4r} \leq 1/25$ を満たす制限等長性を満たす限り、Procrustes Flowアルゴリズムは真の低ランク行列へ幾何的に収束する。
• ガウス測定値の場合、$O((n_1 + n_2)r)$の測定値で正確な回復が保証され、パラメータ数に定数倍の誤差で一致する。
• 初期化段階は真の行列の近傍へ線形収束し、収束速度は$\|\widetilde{\bm{M}}_\tau - \bm{M}\|_F \leq (2/25)^\tau \|\bm{M}\|_F$ で与えられる。
• 最適化段階は、初期推定値が真の行列のフロベニウスノルムで定数倍の範囲内にあると、真の解へ幾何的に収束する。
• 非凸目的関数の解の周辺における強い曲率のおかげで、ノイズに対して安定であり、小さな摂動に対しても安定性を保つ。
• 理論的分析により、標準的なRIP仮定のもとで、偽の局所最適解や鞍点を回避することが確認され、良好な初期化からのグローバル収束が保証される。