[論文レビュー] Geometry of Factored Nuclear Norm Regularization

Qiuwei Li, Zhihui Zhu+1 more|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用数 19

ひとこと要約

本稿では、行列変数を $X = UV^T$ とパrameter化し、核ノルムを $\frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$ に置き換える非凸な因子化再定式化により、核ノルム正則化付き行列逆問題を研究する。損失関数に対して (2r, 4r)-制限付き良好条件性を満たす場合、著者らは、因子化問題のすべての臨界点が、全局最適解であるか、負の曲率を示す厳密なサドル点であることを証明した。これにより、ランダム初期化からの局所的探索法（勾配降下法など）のグローバル収束が可能となる。

ABSTRACT

This work investigates the geometry of a nonconvex reformulation of minimizing a general convex loss function $f(X)$ regularized by the matrix nuclear norm $\|X\|_*$. Nuclear-norm regularized matrix inverse problems are at the heart of many applications in machine learning, signal processing, and control. The statistical performance of nuclear norm regularization has been studied extensively in literature using convex analysis techniques. Despite its optimal performance, the resulting optimization has high computational complexity when solved using standard or even tailored fast convex solvers. To develop faster and more scalable algorithms, we follow the proposal of Burer-Monteiro to factor the matrix variable $X$ into the product of two smaller rectangular matrices $X=UV^T$ and also replace the nuclear norm $\|X\|_*$ with $(\|U\|_F^2+\|V\|_F^2)/2$. In spite of the nonconvexity of the factored formulation, we prove that when the convex loss function $f(X)$ is $(2r,4r)$-restricted well-conditioned, each critical point of the factored problem either corresponds to the optimal solution $X^\star$ of the original convex optimization or is a strict saddle point where the Hessian matrix has a strictly negative eigenvalue. Such a geometric structure of the factored formulation allows many local search algorithms to converge to the global optimum with random initializations.

研究の動機と目的

• 凸ソルバーを用いた核ノルム正則化付き行列逆問題の解法における高い計算コストを軽減すること。
• 非凸な因子化パラメータ化 $X = UV^T$ を用いて、凸ソルバーの高速かつスケーラブルな代替手法を開発すること。
• 因子化定式化に対する理論的保証を確立し、良好条件性を持つ損失関数のもとで偽の局所最適解が存在しないことを示すこと。
• 非凸性にもかかわらず、局所最適化手法が初期化に依存せずに最適解にグローバルに収束できることを示すこと。
• 元の凸問題の最適統計的性質を引き継ぐことで、計算効率と統計的性能のギャップを埋めること。

提案手法

• 凸核ノルム問題 $\min_X f(X) + \lambda\|X\|_*$ を、非凸な因子化問題 $\min_{U,V} f(UV^T) + \lambda \cdot \frac{1}{2}(\|U\|_F^2 + \|V\|_F^2)$ に再定式化する。
• 変数数を $pq$ から $(p+q)r$ に削減するBurer-Monteiro因子化を用いて、計算コストを著しく低減する。
• 因子化目的関数 $g(U,V)$ を定義し、ヘッセ行列の固有値に注目した2次幾何的解析により臨界点を分析する。
• (2r, 4r)-制限付き良好条件性を導入：低ランクの $X$ と $D$ に対して $m\|D\|_F^2 \leq \langle \nabla^2 f(X), D \rangle \leq M\|D\|_F^2$ を満たし、$M/m \leq 1.5$ である。
• 因子化問題 $g(U,V)$ のすべての臨界点が、真の解 $X^*$ に対応する全局最小化点であるか、$\lambda_{\min}(\nabla^2 g) < 0$ を満たす厳密なサドル点であることを証明する。
• ヘッセ固有値の境界と行列摂動技法を用いた幾何的解析により、厳密なサドル性を確立する。

実験結果

リサーチクエスチョン

• RQ1 核ノルム正則化の因子化非凸定式化は、元の凸問題のグローバル最適性を保っているか？
• RQ2 勾配降下法などの局所最適化手法は、慎重な初期化を要せず、因子化定式化においてもグローバル最適解に収束可能か？
• RQ3 因子化問題において、すべての臨界点がグローバル最適解または厳密なサドル点であることを保証する幾何的構造は何か？
• RQ4 損失関数 $f(X)$ の制限付き良好条件性は、因子化問題の形状にどのように影響するか？
• RQ5 因子化定式化に偽の局所最適解が存在しないことを保証する条件は何か？

主な発見

• (2r, 4r)-制限付き良好条件性のもとで、因子化問題のすべての臨界点は、グローバル最小化点または厳密なサドル点である。
• 非最適な臨界点におけるヘッセ行列は、厳密に負の固有値をもち、$r \geq r^*$ のとき下限 $-0.12m\min\{0.5\rho(W)^2, \rho(X^*)\}$ を満たす。
• $r = r^*$ のとき、ヘッセ行列の負の固有値は下限 $-0.099m\rho(X^*)$ を満たし、原点では $-0.12m\rho(X^*)$ である。
• 因子化問題は元の凸問題の統計的性能を引き継いでいるため、オракル不等式やミニマックスレートの再導出しが不要である。
• 幾何的構造のおかげで、ノイズ付き勾配降下法や信頼領域法などの局所探索アルゴリズムが、すべてのサドル点を脱出し、ランダム初期化からグローバルに収束可能である。
• 証明は、直交射影と半正定値行列の性質を用いた行列摂動解析によりヘッセ行列の境界を導出することに依存している。