[論文レビュー] Symmetry, Saddle Points, and Global Geometry of Nonconvex Matrix Factorization

Xingguo Li, Zhaoran Wang+5 more|arXiv (Cornell University)|Dec 29, 2016

Sparse and Compressive Sensing Techniques参考文献 19被引用数 29

ひとこと要約

本稿では、不変構造を持つ非凸最適化問題の幾何構造を分析する一般化された対称性に基づく理論を構築し、低ランク行列因子分解および行列センシングに適用する。パラメータ空間に、負の曲率、強い凸性、または大きな勾配の大きさを特徴とする3つの異なる領域を同定することで、任意の初期化からの反復的アルゴリズムのグローバル収束保証が可能となる。

ABSTRACT

We propose a general theory for studying the geometry of nonconvex objective functions with underlying symmetric structures. In specific, we characterize the locations of stationary points and the null space of the associated Hessian matrices via the lens of invariant groups. As a major motivating example, we apply the proposed general theory to characterize the global geometry of the low-rank matrix factorization problem. In particular, we illustrate how the rotational symmetry group gives rise to infinitely many non-isolated strict saddle points and equivalent global minima of the objective function. By explicitly identifying all stationary points, we divide the entire parameter space into three regions: ($\cR_1$) the region containing the neighborhoods of all strict saddle points, where the objective has negative curvatures; ($\cR_2$) the region containing neighborhoods of all global minima, where the objective enjoys strong convexity along certain directions; and ($\cR_3$) the complement of the above regions, where the gradient has sufficiently large magnitudes. We further extend our result to the matrix sensing problem. This allows us to establish strong global convergence guarantees for popular iterative algorithms with arbitrary initial solutions.

研究の動機と目的

• 対称的構造を有する非凸目的関数の幾何構造を分析する一般理論枠組みを構築すること。
• 特に回転対称性を含む不変群が、低ランク行列因子分解の地形にどのように寄与するかを理解すること。
• 曲率と勾配の挙動に基づいて、パラメータ空間を3つの明確に異なる領域に分類すること。
• 行列センシング問題への分析を拡張し、反復的アルゴリズムのグローバル収束保証を導出すること。
• 群不変性の原則を用いて、停留点およびヘッセ行列の核空間を厳密に特徴付けること。

提案手法

• 不変群理論を活用して、対称な非凸問題における停留点の位置とヘッセ行列の核空間を特徴付ける。
• 回転対称性群が行列因子分解の地形の背後にある主要な構造であることを同定する。
• パラメータ空間を3つの領域に分割する：R₁（負の曲率を示す厳密なさドルポイントの近傍）、R₂（強い凸性を示すグローバル最小値の近傍）、R₃（勾配の大きさが大きな補集合）。
• 群論的解析を用いて、回転対称性が無限個の非孤立な厳密なさドルポイントおよび同等のグローバル最小値を誘導することを証明する。
• 幾何的特徴付けをセンシング設定に拡張することで、行列センシング問題にフレームワークを適用する。
• 軌道がさドルポイントを避けてグローバル最小値に収束することを示すことで、反復的アルゴリズムのグローバル収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 連続的な対称性群の存在が、非凸最適化における停留点の幾何にどのように影響を与えるか？
• RQ2 対称な非凸問題におけるヘッセ行列の核空間の正確な構造は何か？ そして、不変群とどのように関係しているか？
• RQ3 パラメータ空間を、曲率と勾配の挙動が質的に異なる領域に分割できるか？
• RQ4 低ランク行列因子分解における回転対称性が、非孤立な厳密なさドルポイントおよび同等のグローバル最小値をどのように生じさせるか？
• RQ5 任意の初期解からの反復的アルゴリズムについて、対称な非凸問題でグローバル収束保証を確立できるか？

主な発見

• 低ランク行列因子分解の回転対称性群は、無限個の非孤立な厳密なさドルポイントおよび同等のグローバル最小値を生成する。
• パラメータ空間は3つの領域に分割される：R₁（負の曲率）、R₂（特定の方向における強い凸性）、R₃（大きな勾配の大きさ）。
• ヘッセ行列は、対称性群に一致する非自明な核空間を有し、群不変性を用いて明示的に特徴付けられる。
• R₂領域では、対称性群に直交する方向において、目的関数が強い凸性を示す。
• 幾何的構造とさドルポイントの回避のおかげで、反復的アルゴリズムは任意の初期点からグローバル最小値にグローバルに収束する。
• フレームワークは行列センシング問題に拡張可能であり、同じ幾何的条件下でグローバル収束保証が保持される。