[論文レビュー] Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization

Thomas Y. Hou, Zhenzhen Li+1 more|arXiv (Cornell University)|Dec 31, 2020

Sparse and Compressive Sensing Techniques参考文献 45被引用数 12

ひとこと要約

本稿は、低ランク行列回復における高速なグローバル収束を実現するため、低ランク行列多様体上でのリーマン的勾配降下法（PGD）フレームワークを提案する。ランダム初期化のもとで、多様体の幾何的性質と初期角度分布の有利さにより、偽の臨界点がほとんど確実に回避されることを示し、真の解へのほぼ線形収束—高確率的に $Ó(\text{log}(1/\epsilon) + \text{log}(n))$ 回の反復—を確立する。

ABSTRACT

In this paper, we propose a new global analysis framework for a class of low-rank matrix recovery problems on the Riemannian manifold. We analyze the global behavior for the Riemannian optimization with random initialization. We use the Riemannian gradient descent algorithm to minimize a least squares loss function, and study the asymptotic behavior as well as the exact convergence rate. We reveal a previously unknown geometric property of the low-rank matrix manifold, which is the existence of spurious critical points for the simple least squares function on the manifold. We show that under some assumptions, the Riemannian gradient descent starting from a random initialization with high probability avoids these spurious critical points and only converges to the ground truth in nearly linear convergence rate, i.e. $\mathcal{O}( ext{log}(\frac{1}ε)+ ext{log}(n))$ iterations to reach an $ε$-accurate solution. We use two applications as examples for our global analysis. The first one is a rank-1 matrix recovery problem. The second one is a generalization of the Gaussian phase retrieval problem. It only satisfies the weak isometry property, but has behavior similar to that of the first one except for an extra saddle set. Our convergence guarantee is nearly optimal and almost dimension-free, which fully explains the numerical observations. The global analysis can be potentially extended to other data problems with random measurement structures and empirical least squares loss functions.

研究の動機と目的

• リーマン最適化を用いた低ランク行列回復問題の統一的グローバル収束解析を確立すること。
• 非凸な低ランク回復において数値的に観察されるほぼ線形収束を解明すること。これは、先行研究における部分線形理論的保証と矛盾する。
• 最小二乗損失に対する低ランク多様体の幾何的構造、特に偽の臨界点の存在と性質を明らかにすること。
• ランダム初期化が、これらの偽の臨界点を高確率で回避できることを示し、真の解へのグローバル収束を可能にすること。
• 標準的な等長性条件を満たさない問題、例えばガウス位相再構成など、弱い等長性を有する問題へと分析を拡張し、ほぼ最適な収束保証を提供すること。

提案手法

• 低ランク行列回復問題を、ランク-$r$ 行列の多様体 $\mathcal{M}_r$ 上のリーマン最適化問題として定式化する。
• 最小二乗損失 $f(Z) = \frac{1}{2}\|T(Z) - y\|_2^2$ を最小化するため、リーマン的勾配降下法（PGD）を用いる。
• 漸近的挙動と収束速度を解析するため、集団レベルの損失関数 $\mathbb{E}[f(Z)]$ を分析する。
• 低ランク多様体の新しい幾何的解析を導入し、特異なヘッセ固有方向を有する偽の臨界点を同定する。
• 最終収束段階で Łojasiewicz 不等式を用いて、線形収束レートを導出する。
• 動的低ランク近似フレームワークを用いて、列空間の変化を追跡し、偽の領域からの脱出時間をバインドする。

実験結果

リサーチクエスチョン

• RQ1 偽の臨界点が存在するにもかかわらず、ランダム初期化を用いたリーマン的勾配降下法が、低ランク行列回復で高速なグローバル収束を達成できるか？
• RQ2 低ランク行列多様体のどの幾何的性質が、数値的に観察されるほぼ線形収束を説明するか？
• RQ3 非凸な設定下で、なぜランダム初期化が偽の臨界点を高確率で回避するのか？
• RQ4 収束速度は問題の次元およびランクにどのように依存するか？また、次元に依存しない（次元フリーな）収束保証は可能か？
• RQ5 標準的なリップシッツ等長性（RIP）が成り立たない弱い等長性を持つ問題、例えばガウス位相再構成などへ、解析を拡張できるか？

主な発見

• ランダム初期化を用いたリーマン的勾配降下法は、初期角度分布の有利さにより、偽の臨界点をほとんど確実に回避し、高確率で真の解に収束する。
• 収束速度はほぼ線形であり、$\mathcal{O}(\text{log}(1/\epsilon) + \text{log}(n))$ 回の反復で $\epsilon$-精度に達する。これはほぼ最適である。
• 低ランク多様体上には偽の臨界点が存在し、ヘッセ行列の特異固有方向を有するため、勾配流下で不安定である（厳密なサドル点）。
• 真の解の列空間とランダム初期化との間の初期角度は、高確率で $\widetilde{\Omega}(1/n)$ 以上であり、偽の領域からの迅速な脱出を可能にする。
• 本分析は、標準的な等長性問題（例：行列センシング）と弱い等長性問題（例：位相再構成）の両方に適用可能で、同様の収束挙動を示す。
• 収束保証はほぼ次元フリーであり、レートが $n$ の対数に依存するため、高次元数値実験で観察されるロバストネスを説明できる。