[論文レビュー] General Low-rank Matrix Optimization: Geometric Analysis and Sharper Bounds

Haixiang Zhang, Yingjie Bi+1 more|arXiv (Cornell University)|Apr 21, 2021

Sparse and Compressive Sensing Techniques参考文献 31被引用数 5

ひとこと要約

本稿は、Burer-Monterio因子分解を用いた一般の低ランク行列最適化の幾何的解析を提供し、ランク1問題ではランク2のRIP定数δ < 1/2のとき、任意のランク-r問題ではδ ≤ 1/3のとき、偽の2次臨界点が存在しないことを証明している。δ = 1/2の境界は反例により鋭いことが示され、δ < 1/3のときには厳密な鞍部の性質が確立されており、これによりアルゴリズムの多項式時間でのグローバル収束が可能となる。

ABSTRACT

This paper considers the global geometry of general low-rank minimization problems via the Burer-Monterio factorization approach. For the rank-$1$ case, we prove that there is no spurious second-order critical point for both symmetric and asymmetric problems if the rank-$2$ RIP constant $δ$ is less than $1/2$. Combining with a counterexample with $δ=1/2$, we show that the derived bound is the sharpest possible. For the arbitrary rank-$r$ case, the same property is established when the rank-$2r$ RIP constant $δ$ is at most $1/3$. We design a counterexample to show that the non-existence of spurious second-order critical points may not hold if $δ$ is at least $1/2$. In addition, for any problem with $δ$ between $1/3$ and $1/2$, we prove that all second-order critical points have a positive correlation to the ground truth. Finally, the strict saddle property, which can lead to the polynomial-time global convergence of various algorithms, is established for both the symmetric and asymmetric problems when the rank-$2r$ RIP constant $δ$ is less than $1/3$. The results of this paper significantly extend several existing bounds in the literature.

研究の動機と目的

• Burer-Monterio因子分解のアプローチを用いて、低ランク行列最適化問題のグローバル幾何を分析すること。
• 偽の2次臨界点が存在しないような、制限付き等長性性質（RIP）定数の最もタイトな境界を特定すること。
• 有利なRIP条件下で、対称および非対称な低ランク問題の両方に対して、厳密な鞍部の性質を確立すること。
• 低ランク行列回復および最適化における既存の理論的境界を拡張すること。

提案手法

• 変数の数を削減し、ランク制約を除去するために、Burer-Monterio因子分解を用いて対称および非対称な低ランク行列最適化問題を分析する。
• Hessianの曲率を特徴づけ、非凸性を制御するために、ランク(2r, 2t)の制限付き等長性性質（RIP）を採用する。
• すべての2次臨界点がグローバル最適解であるか、または真の値と正の相関を持つような幾何的条件を導出する。
• スペクトル解析と摂動バインディングを用いて、δ < 1/2（ランク1）またはδ ≤ 1/3（任意のランク-r）のとき、偽の臨界点が存在しないことを証明する。
• δ ≥ 1/2のとき、偽の2次臨界点が存在しないという事実が成り立たないことを示す明示的な反例を構築する。
• δ < 1/3のとき、厳密な鞍部の性質が両対称および非対称問題に対して成立し、1次アルゴリズムのグローバル収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランク1の低ランク行列最適化において、偽の2次臨界点が存在しないような、最もタイトなRIP定数δは何か？
• RQ2 一般のランク-r問題において、すべての2次臨界点がグローバル最適解であるか、真の値と正の相関を持つような最大のδは何か？
• RQ3 一様なRIP条件の下で、対称および非対称な低ランク問題の両方に対して、厳密な鞍部の性質を確立できるか？
• RQ4 ランク1問題において、偽の2次臨界点が存在しないという境界δ = 1/2は鋭いか？
• RQ5 低ランク多様体の幾何的構造は、RIP仮定の下で1次アルゴリズムの収束にどのように影響を与えるか？

主な発見

• ランク1問題では、ランク2のRIP定数δ < 1/2のとき、偽の2次臨界点が存在せず、δ = 1/2で反例が存在することから、この境界は鋭い。
• 一般のランク-r問題では、ランク2rのRIP定数δ ≤ 1/3のとき、偽の2次臨界点が存在しない。
• δが1/3から1/2の間のとき、すべての2次臨界点が真の値行列と正の相関を持つ。
• δ < 1/3のとき、対称および非対称問題の両方で厳密な鞍部の性質が成立し、1次アルゴリズムの多項式時間でのグローバル収束が保証される。
• 本稿は、低ランク行列最適化におけるグローバル幾何に関する、これまでに知られている最も鋭いRIPに基づく境界を提供しており、先行研究を著しく改善している。
• 反例により、導出された境界がタイトであることが確認され、δ ≥ 1/2では偽の臨界点が存在しないことを保証できないことが示された。