[論文レビュー] Finding Low-Rank Solutions via Non-Convex Matrix Factorization, Efficiently and Provably

Dohyung Park, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Jun 9, 2016

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本稿では、非凸行列因子分解 $X = UV^\top$ を用いた低ランク行列最適化を解くための効率的な1次最適化手法であるBi-Factored Gradient Descent (BFGD) を提案する。制限された滑らかさを満たす目的関数に対して局所的で非線形収束を確立し、目的関数がさらに制限された強い凸性を満たす場合には線形収束を示す。適切な初期化のもとで、保証付きの収束が得られる。

ABSTRACT

A rank-$r$ matrix $X \\in \\mathbb{R}^{m \ imes n}$ can be written as a product $U V^\ op$, where $U \\in \\mathbb{R}^{m \ imes r}$ and $V \\in \\mathbb{R}^{n \ imes r}$. One could exploit this observation in optimization: e.g., consider the minimization of a convex function $f(X)$ over rank-$r$ matrices, where the set of rank-$r$ matrices is modeled via the factorization $UV^\ op$. Though such parameterization reduces the number of variables, and is more computationally efficient (of particular interest is the case $r \\ll \\min\\{m, n\\}$), it comes at a cost: $f(UV^\ op)$ becomes a non-convex function w.r.t. $U$ and $V$. We study such parameterization for optimization of generic convex objectives $f$, and focus on first-order, gradient descent algorithmic solutions. We propose the Bi-Factored Gradient Descent (BFGD) algorithm, an efficient first-order method that operates on the $U, V$ factors. We show that when $f$ is (restricted) smooth, BFGD has local sublinear convergence, and linear convergence when $f$ is both (restricted) smooth and (restricted) strongly convex. For several key applications, we provide simple and efficient initialization schemes that provide approximate solutions good enough for the above convergence results to hold.

研究の動機と目的

• SVD計算が高価であるのを避ける低ランク行列回復のための効率的で1次最適化手法の開発。
• 凸目的関数の文脈において、非凸行列因子分解のための収束保証の提供。
• 低ランク解への収束を保証する、単純かつ効果的な初期化スキームの設計。
• 制限された滑らかさおよび強い凸性の仮定のもとで、理論的収束速度（非線形および線形）の確立。
• 直接行列最適化と比較して、因子 $U$ と $V$ を最適化する手法が、特に高次元設定において計算的に優れていることを示すこと。

提案手法

• 本稿では、パrametrization $X = UV^\top$ における因子行列 $U$ と $V$ を直接最適化する1次手法であるBi-Factored Gradient Descent (BFGD) を提案する。
• 固定ステップサイズ $\eta$ を用いて $U$ と $V$ に対して勾配降下更新を実行し、$U^{+} = U - \eta \nabla_U f(UV^\top)$ および $V^{+} = V - \eta \nabla_V f(UV^\top)$ と更新する。
• 真の低ランク解への収束を追跡するための距離尺度 $\textsc{Dist}(U,V;X^\star_r)^2 = \|U - U^\star R\|_F^2 + \|V - V^\star R\|_F^2$ を導入する。
• 制限された滑らかさのもとで収束解析を可能にするために、勾配の内積と反復値の差の関係を束縛する重要な補題（補題 C.6）を用いる。
• 三角不等式とミルスキーの定理を用いて、初期化誤差を真の低ランク近似と関連付ける収束バウンドを導出する。
• 制限された滑らかさおよび強い凸性のもとで、最適解への距離が反復回数とともに減少することを確立し、線形収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 凸目的関数のもとで、勾配降下による非凸行列因子分解が、低ランク行列最適化に対して保証付き収束を達成できるか？
• RQ2 目的関数にどのような条件が満たされると、因子空間において局所的非線形収束または線形収束が保証されるか？
• RQ3 解のグローバルな知識が不要な状況でも収束を保証するように、初期化をどのように設計できるか？
• RQ4 一般的な凸目的関数に対して、BFGDアルゴリズムは因子空間における偽の局所的最小値を回避できるか？
• RQ5 高次元設定において、SVDに基づく凸法と比較してBFGDの計算効率はどのように異なるか？

主な発見

• 目的関数 $f$ が制限された滑らかさを満たす限り、BFGDは局所的非線形収束を達成する。強い凸性がなくても成立する。
• 目的関数 $f$ が制限された滑らかさおよび制限された強い凸性を両方満たす場合、BFGDは最適な低ランク解へ線形収束を示す。
• 適切な初期化のもとで、アルゴリズムは保証付きで収束する。これは反復値が収束保証が成り立つ近傍に留まるように保証する。
• 初期化スキーム $X_0 = -\frac{1}{L} \nabla f(0)$ により、$\|X_0 - X^\star\|_F \leq \sqrt{2(1 - \mu/L)} \|X^\star\|_F$ が成り立ち、初期誤差が有界であることが保証される。
• 与えられた仮定のもとで、真の低ランク解 $X^\star_r$ への距離が反復回数に従って単調に減少することが示され、不等式 $\textsc{Dist}(U,V;X^\star_r)^2 \geq \textsc{Dist}(U^+,V^+;X^\star_r)^2$ が成り立つ。
• 大規模な設定において、完全なSVD計算を行列乗算に置き換えることで、計算効率が顕著に向上する。