[論文レビュー] The Nonconvex Geometry of Low-Rank Matrix Optimizations with General Objective Functions

Qiuwei Li, Gongguo Tang|arXiv (Cornell University)|Nov 9, 2016

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

この論文は、一般の凸目的関数と核ノルム正則化を伴う低ランク行列問題における要因分解最適化を研究している。低ランク行列を要因分解し、核ノルムをフロベニウスノルムに基づく代理関数に置き換えることで、非凸定式化のすべての臨界点が、いずれかがグローバル最適解、または厳密なサドル点であることを証明した。これにより、初期化をランダムにした局所的最適化手法のグローバル収束が可能になる。

ABSTRACT

This work considers two popular minimization problems: (i) the minimization of a general convex function $f(\mathbf{X})$ with the domain being positive semi-definite matrices; (ii) the minimization of a general convex function $f(\mathbf{X})$ regularized by the matrix nuclear norm $\|\mathbf{X}\|_*$ with the domain being general matrices. Despite their optimal statistical performance in the literature, these two optimization problems have a high computational complexity even when solved using tailored fast convex solvers. To develop faster and more scalable algorithms, we follow the proposal of Burer and Monteiro to factor the low-rank variable $\mathbf{X} = \mathbf{U}\mathbf{U}^ op $ (for semi-definite matrices) or $\mathbf{X}=\mathbf{U}\mathbf{V}^ op $ (for general matrices) and also replace the nuclear norm $\|\mathbf{X}\|_*$ with $(\|\mathbf{U}\|_F^2+\|\mathbf{V}\|_F^2)/2$. In spite of the non-convexity of the resulting factored formulations, we prove that each critical point either corresponds to the global optimum of the original convex problems or is a strict saddle where the Hessian matrix has a strictly negative eigenvalue. Such a nice geometric structure of the factored formulations allows many local search algorithms to find a global optimizer even with random initializations.

研究の動機と目的

• 標準の凸ソルバーを用いた低ランク行列最適化問題の解法における高い計算複雑性に対処すること。
• 行列の要因分解を活用することで、低ランク行列回復のためのより高速でスケーラブルなアルゴリズムを開発すること。
• 一般の凸目的関数と核ノルム正則化における要因分解定式化の幾何的構造を分析すること。
• 局所最適化手法が真の解へグローバルに収束するための条件を確立すること。

提案手法

• 低ランク行列 X を正定値行列のための UU^T または一般行列のための UV^T に要因分解する。
• 最適化定式化において核ノルム ||X||_* を (||U||_F^2 + ||V||_F^2)/2 に置き換える。
• 要因 U と V の観点から非凸最適化問題として問題を定式化する。
• 臨界点におけるヘッセ行列を分析し、その性質（グローバル最適解または厳密なサドル点）を特定する。
• 微分幾何学と行列解析の道具を用いて、誤った局所最適解の不在を証明する。
• 好都合な幾何構造のおかげで、局所探索アルゴリズムがきわめて弱い条件下でもグローバルに収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列最適化の要因分解定式化は、グローバル最適解を保ちつつ、誤った局所最適解を排除できるか？
• RQ2 一般の凸目的関数における非凸的要因分解定式化の臨界点の幾何的構造は何か？
• RQ3 慎重な初期化がなければ、局所最適化手法が信頼性を持ってグローバル解へ収束できるか？
• RQ4 核ノルムをフロベニウスノルムに基づく代理関数に置き換えると、最適化の地形にどのような影響を与えるか？
• RQ5 要因分解問題が元の凸問題と同じ解を保つための条件は何か？

主な発見

• 要因分解最適化問題のすべての臨界点は、元の凸問題のグローバル最適解、または負の曲率方向を有する厳密なサドル点である。
• 誤った局所最適解が存在しないことにより、局所探索アルゴリズムがランダムな初期化からグローバル解へ収束可能である。
• 目的関数 f(X) が行列回復に特化した関数でなくても、幾何的構造は保たれる。
• 核ノルムをフロベニウスノルムに基づく代理関数に置き換えても、新たな誤った臨界点は生じない。
• すべての臨界点において、その点がグローバル最適解でない限り、ヘッセ行列には少なくとも1つの厳密に負の固有値が存在する。