[論文レビュー] The Global Optimization Geometry of Low-Rank Matrix Optimization

Zhihui Zhu, Qiuwei Li+2 more|arXiv (Cornell University)|Mar 3, 2017

Sparse and Compressive Sensing Techniques参考文献 45被引用数 30

ひとこと要約

本稿は、行列因子分解を用いた低ランク行列最適化のグローバル最適化幾何を確立し、制限強凸性および滑らかさの下で、因子分解された問題が強力な厳密な鞍点性質を満たすことを示しており、勾配ベースの手法のグローバル収束を保証する。さらに、正確、過剰、不足パラメータ化の設定においても偽の局所的最小値が存在しないことを証明している。

ABSTRACT

This paper considers general rank-constrained optimization problems that minimize a general objective function $f(X)$ over the set of rectangular $n imes m$ matrices that have rank at most $r$. To tackle the rank constraint and also to reduce the computational burden, we factorize $X$ into $UV^T$ where $U$ and $V$ are $n imes r$ and $m imes r$ matrices, respectively, and then optimize over the small matrices $U$ and $V$. We characterize the global optimization geometry of the nonconvex factored problem and show that the corresponding objective function satisfies the robust strict saddle property as long as the original objective function $f$ satisfies restricted strong convexity and smoothness properties, ensuring global convergence of many local search algorithms (such as noisy gradient descent) in polynomial time for solving the factored problem. We also provide a comprehensive analysis for the optimization geometry of a matrix factorization problem where we aim to find $n imes r$ and $m imes r$ matrices $U$ and $V$ such that $UV^T$ approximates a given matrix $X^\star$. Aside from the robust strict saddle property, we show that the objective function of the matrix factorization problem has no spurious local minima and obeys the strict saddle property not only for the exact-parameterization case where $rank(X^\star) = r$, but also for the over-parameterization case where $rank(X^\star) < r$ and the under-parameterization case where $rank(X^\star) > r$. These geometric properties imply that a number of iterative optimization algorithms (such as gradient descent) converge to a global solution with random initialization.

研究の動機と目的

• ランク制約付き行列問題のグローバル最適化の姿を、行列因子分解を用いて理解すること。
• 因子分解された非凸問題が偽の局所的最小値および鞍点を回避する条件を確立すること。
• 勾配降下法のような反復的アルゴリズムが低ランク行列回復においてグローバル収束を保証する理論的根拠を提供すること。
• 正確なパrameterizationを超えて、過剰および不足パラメータ化のケースを含む最適化幾何を分析すること。
• 制限強凸性および滑らかさを満たす一般の目的関数の下で、行列因子分解問題の分析を統一すること。

提案手法

• 低ランク行列 $\boldsymbol{X}$ を $\boldsymbol{U}\boldsymbol{V}^T$ と因子分解し、$\boldsymbol{U} \in \mathbb{R}^{n \times r}$, $\boldsymbol{V} \in \mathbb{R}^{m \times r}$ とすることで、より小さな行列の最適化に問題を縮小する。
• 非凸最適化幾何の道具を用いて、因子分解された目的関数 $h(\boldsymbol{U}, \boldsymbol{V}) = f(\boldsymbol{U}\boldsymbol{V}^T)$ を分析する。
• 元の目的関数 $f$ が制限強凸性および滑らかさを満たすならば、$h$ が強力な厳密な鞍点性質を満たすことを証明する。
• 摂動解析および勾配の下界を用いて、すべての臨界点がグローバル最小値または厳密な鞍点であることを示す。
• 真の行列ランク $\operatorname{rank}(\boldsymbol{X}^\star) \neq r$ であっても、行列因子分解問題に偽の局所的最小値が存在しないことを確立する。特に、過剰および不足パラメータ化のケースを含む。
• 変数変換 $\boldsymbol{W} = [\boldsymbol{U}; \boldsymbol{V}]$ を用い、臨界点の近傍におけるヘッセ行列および勾配の挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 元の目的関数 $f$ がどのような条件下で、因子分解された問題 $h(\boldsymbol{U}, \boldsymbol{V})$ が強力な厳密な鞍点性質を満たすか？
• RQ2 過剰パラメータ化（$\operatorname{rank}(\boldsymbol{X}^\star) < r$）および不足パラメータ化（$\operatorname{rank}(\boldsymbol{X}^\star) > r$）の枠組みにおいて、行列因子分解問題に偽の局所的最小値が存在するか？
• RQ3 ランダム初期化のもとで、勾配ベースの手法が低ランク行列最適化においてグローバル解にグローバルに収束できるか？
• RQ4 真の行列ランクが因子分解ランクと異なる場合、因子分解問題の最適化の姿が臨界点の近傍でどのように振る舞うか？
• RQ5 行列因子分解の文脈で、すべての局所的最小値がグローバル最小値であることを保証する幾何的性質は何か？

主な発見

• 元の目的関数 $f$ が制限強凸性および滑らかさを満たす限り、因子分解された問題は強力な厳密な鞍点性質を満たし、ノイズあり勾配降下法が多項式時間でグローバル収束することが保証される。
• 真の行列ランクが $r$ に等しくない場合を含め、あらゆるランク設定（正確：$\operatorname{rank}(\boldsymbol{X}^\star) = r$、過剰：$\operatorname{rank}(\boldsymbol{X}^\star) < r$、不足：$\operatorname{rank}(\boldsymbol{X}^\star) > r$）において、行列因子分解問題に偽の局所的最小値が存在しない。
• あらゆるパラメータ化の枠組みにおいて、目的関数は厳密な鞍点性質を満たしており、ランダム初期化を用いた勾配降下法がグローバル解に収束することを示唆している。
• 勾配ノルムの下界を確立した：臨界領域において $\|\nabla G(\boldsymbol{W})\|_F \geq \frac{1}{45}\|\boldsymbol{W}\boldsymbol{W}^T\|_F^{3/2}$ が成り立ち、偽の局所的最小値の不在を確認している。
• ヘッセ行列近似における定数 $c$ に条件 $c \leq \frac{1}{100} \frac{\sigma_r^{3/2}(\boldsymbol{X}^\star)}{\|\boldsymbol{X}^\star\|_F \|\boldsymbol{X}^\star\|^{1/2}}$ が課されることで、強力な厳密な鞍点性質が保証される。
• 結果は、行列センシングや行列補完を含む、低ランク最適化問題の広いクラスに一般化可能であり、$f$ にやや強い正則性条件が課されれば成立する。