[論文レビュー] Symmetry, Saddle Points, and Global Optimization Landscape of Nonconvex Matrix Factorization

Xingguo Li, Junwei Lu+5 more|arXiv (Cornell University)|Dec 29, 2016

Sparse and Compressive Sensing Techniques参考文献 42被引用数 13

ひとこと要約

この論文は、特に回転不変性に注目して、対称性群を活用することで、非凸行列因子分解のグローバル最適化ランドスケープを分析する一般理論を構築する。すべての停留点を同定し、無限個の非孤立な厳密なサドルポイントと同等のグローバル最小値を示し、勾配と曲率の挙動が異なる3つの領域にパラメータ空間を分割する。これにより、任意の初期化からでも反復的アルゴリズムの強力なグローバル収束保証が得られる。

ABSTRACT

We propose a general theory for studying the \xl{landscape} of nonconvex \xl{optimization} with underlying symmetric structures z{for a class of machine learning problems (e.g., low-rank matrix factorization, phase retrieval, and deep linear neural networks)}. In specific, we characterize the locations of stationary points and the null space of Hessian matrices \xl{of the objective function} via the lens of invariant groups emoved{for associated optimization problems, including low-rank matrix factorization, phase retrieval, and deep linear neural networks}. As a major motivating example, we apply the proposed general theory to characterize the global \xl{landscape} of the \xl{nonconvex optimization in} low-rank matrix factorization problem. In particular, we illustrate how the rotational symmetry group gives rise to infinitely many nonisolated strict saddle points and equivalent global minima of the objective function. By explicitly identifying all stationary points, we divide the entire parameter space into three regions: ($\cR_1$) the region containing the neighborhoods of all strict saddle points, where the objective has negative curvatures; ($\cR_2$) the region containing neighborhoods of all global minima, where the objective enjoys strong convexity along certain directions; and ($\cR_3$) the complement of the above regions, where the gradient has sufficiently large magnitudes. We further extend our result to the matrix sensing problem. Such global landscape implies strong global convergence guarantees for popular iterative algorithms with arbitrary initial solutions.

研究の動機と目的

• 対称的構造を有する非凸問題のグローバル最適化ランドスケープを分析する一般枠組みを構築すること。
• 不変群理論を用いて、低ランク行列因子分解におけるすべての停留点の位置とヘッセ行列の核空間を同定すること。
• 回転対称性が無限個の非孤立な厳密なサドルポイントと同等のグローバル最小値を生じることを説明すること。
• 曲率と勾配の大きさに基づいて、パラメータ空間を3つの明確に異なる領域に分割し、グローバル収束解析を可能にすること。
• 行列センシングへの分析の拡張を行い、任意の初期化からでも反復的アルゴリズムの強いグローバル収束保証を提供すること。

提案手法

• 目的関数の対称性構造を、特に行列因子分解における回転不変性に注目して、不変群理論を用いて分析する。
• 直交変換 Φ ∈ ℝr×r における不変性を活用して、すべての停留点を明示的に同定する。
• パラメータ空間を3つの領域に分割する：(R1) 負の曲率を示す厳密なサドルポイントの近傍、(R2) 強い凸性を示すグローバル最小値の近傍、(R3) 勾配の大きさが大きな残りの領域。
• ヘッセ行列とその核空間を分析して、停留点における曲率特性を同定する。
• 集中不等式と ε-ネットの議論を用いて、経験的ヘッセ行列と期待値との差をバインドし、標本化下でも安定性を保証する。
• 行列センシングにフレームワークを拡張し、経験的損失とそのヘッセ行列を分析し、ヘッセ行列と勾配が期待値の周囲に集中することを証明する。

実験結果

リサーチクエスチョン

• RQ1 行列因子分解における回転対称性は、なぜ無限個の非孤立な厳密なサドルポイントと同等のグローバル最小値を生じるのか？
• RQ2 特に曲率と勾配挙動の観点から、低ランク行列因子分解における最適化ランドスケープのグローバル幾何的性質は何か？
• RQ3 パラメータ空間を、最適化特性が明確に異なる領域に意味的に分割できるか？
• RQ4 標本化下でヘッセ行列と勾配はどのように振る舞い、それらの経験的推定値はタイトにバインド可能か？
• RQ5 全ランドスケープの特徴付けに基づいて、反復的アルゴリズムのグローバル収束保証をどのように得られるか？

主な発見

• 直交群の作用による回転対称性のおかげで、低ランク行列因子分解の最適化ランドスケープには、無限個の非孤立な厳密なサドルポイントと同等のグローバル最小値が存在する。
• パラメータ空間は3つの領域に分割される：(R1) 負の曲率を示すサドルポイントの近傍、(R2) 強い凸性を示すグローバル最小値の近傍、(R3) 残りの領域で勾配の大きさが大きい。
• 任意の停留点におけるヘッセ行列の核空間の次元は r(r−1)/2 であり、これは回転群の次元に対応しており、非孤立なサドルポイントの存在を裏付ける。
• 標本数 d が Ω(N1nr/δ) のとき、経験的ヘッセ行列と期待値との差が高確率で小さくなる。ここで N1 はノルム関連パラメータである。
• d = Ω(N2√nr log(nr)/δ) のとき、勾配の差が高確率でバインドされ、安定した最適化ダイナミクスが保証される。
• 全ランドスケープの特徴付けは、勾配降下などの反復的アルゴリズムが任意の初期化からでも強いグローバル収束保証を受けることを示唆する。