[論文レビュー] Finding Low-rank Solutions to Matrix Problems, Efficiently and Provably.

Dohyung Park, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Jun 10, 2016

Sparse and Compressive Sensing Techniques参考文献 91被引用数 32

ひとこと要約

本稿では、行列をUとVの成分に分解することによって、低ランク行列上の凸関数を効率的に最小化する最初の順序最適化アルゴリズムであるBi-Factored Gradient Descent (BFGD)を提案する。滑らかさ関数に対して局所的サブ線形収束を確立し、強い凸性がある場合には線形収束を示し、実用的な性能を実現するための効果的な初期化スキームを提供する。

ABSTRACT

A rank-r matrix X \in R^{m x n} can be written as a product UV', where U \in R^{m x r} and V \in R^{n x r}. One could exploit this observation in optimization: e.g., consider the minimization of a convex function f(X) over rank-r matrices, where the scaffold of rank-r matrices is modeled via the factorization in U and V variables. Such heuristic has been widely used before for specific problem instances, where the solution sought is (approximately) low-rank. Though such parameterization reduces the number of variables and is more efficient in computational speed and memory requirement (of particular interest is the case r << min{m, n}), it comes at a cost: f(UV') becomes a non-convex function w.r.t. U and V. In this paper, we study such parameterization in optimization of generic convex f and focus on first-order, gradient descent algorithmic solutions. We propose an algorithm we call the Bi-Factored Gradient Descent (BFGD) algorithm, an efficient first-order method that operates on the U, V factors. We show that when f is smooth, BFGD has local sublinear convergence, and linear convergence when f is both smooth and strongly convex. Moreover, for several key applications, we provide simple and efficient initialization schemes that provide approximate solutions good enough for the above convergence results to hold.

研究の動機と目的

• 低ランク行列上の凸関数を、行列因子分解による非凸パrameterizationを用いて最適化するという課題に対処すること。
• 計算コストとメモリコストを低減するために、直接的に低ランク要因UとV上で動作する効率的な最初の順序アルゴリズムを開発すること。
• 提案されたBFGDフレームワーク下で、滑らかさ関数に対してサブ線形収束、強い凸性関数に対して線形収束を確立する理論的収束保証を提供すること。
• 主な応用分野において収束性が実際の状況でも成り立つように保証する、簡単で効果的な初期化スキームを提供すること。

提案手法

• 行列因子分解X = UV^TのUおよびV要因を交互に更新する勾配降下法であるBi-Factored Gradient Descent (BFGD)を提案する。
• 第一階層の情報を利用し、非凸パrameterization f(UV^T)を反復的に最小化する。
• 降下と収束を保証するため、fに滑らかさ仮定を導入し、因子化されたパrameter空間の分析を通じて収束レートを導出する。
• 収束保証が有効な領域内で近似解を生成する、アプリケーション固有の初期化戦略を導入する。
• 因子化変数の観点から収束を分析し、標準的な凸性および滑らかさ条件の下で、低ランク構造を持つ解に収束することを示す。
• 因子化された問題の構造を活用して、変数数をO(mn)からO((m+n)r)に削減し、r ≪ min{m,n}のとき、計算効率を顕著に向上させる。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列因子分解のUおよびV要因上で動作する最初の順序手法が、一般の凸関数に対して証明可能な収束を達成できるか？
• RQ2 目的関数が滑らかまたは強い凸性を満たす場合に、このような手法の収束レートはどのように確立できるか？
• RQ3 収束が保証される領域に初期化を設計するにはどうすればよいか？
• RQ4 BFGDアルゴリズムは、理論的性能保証を確保しつつ、計算効率をどの程度維持できるか？
• RQ5 低ランク行列最適化問題に適用した場合、BFGDの収束特性は標準的手法と比べてどの程度優れているか？

主な発見

• 目的関数fが滑らかである場合、BFGDは局所的サブ線形収束レートを達成し、反復ごとに解に進歩することが保証される。
• fが滑らかかつ強い凸性を満たす場合、BFGDは線形収束を示し、各反復で誤差が指数的に減少する。
• 提案された初期化スキームは、解多様体に十分近い初期点を生成し、実用的な状況でも収束保証が成り立つことを可能にする。
• O((m+n)r)の変数上で動作するため、O(mn)に比べて計算およびメモリ効率を維持し、小ランク解を有する大規模問題に適している。
• 理論的収束結果は一般性を持ち、特定の問題インスタンスに限定されない任意の凸関数fに適用可能である。
• 従来の低ランク最適化ヒューリスティクスとは異なり、理論的保証が欠如しているが、BFGDは証明可能かつ効率的な代替手法を提供する。