[論文レビュー] Global Convergence of Stochastic Gradient Descent for Some Non-convex Matrix Problems

Christopher De, Kunle Olukotun+1 more|arXiv (Cornell University)|Nov 4, 2014

Sparse and Compressive Sensing Techniques参考文献 40被引用数 76

ひとこと要約

この論文は、非凸な低ランク行列問題（行列補完、位相再構成、部分空間追跡など）に対して、グローバル収束を保証するステップサイズを適応的に制御する確率的勾配降下法（SGD）の変種、Alectonを提案する。広範なサンプリング条件下で、初期化が確率的である場合でも、$O(\epsilon^{-1}n\log n)$ ステップで収束を示し、確率的パワー反復との関連と、新規なマルティングレイルに基づく解析を活用する。

ABSTRACT

Stochastic gradient descent (SGD) on a low-rank factorization is commonly employed to speed up matrix problems including matrix completion, subspace tracking, and SDP relaxation. In this paper, we exhibit a step size scheme for SGD on a low-rank least-squares problem, and we prove that, under broad sampling conditions, our method converges globally from a random starting point within $O(\\epsilon^{-1} n \\log n)$ steps with constant probability for constant-rank problems. Our modification of SGD relates it to stochastic power iteration. We also show experiments to illustrate the runtime and convergence of the algorithm.

研究の動機と目的

• 行列補完や部分空間追跡などの非凸な低ランク行列問題において、標準的なSGDにグローバル収束保証がないという問題に対処すること。
• SVDに基づく高コストな初期化手法を必要とせず、確率的初期化からグローバル収束を達成できるアルゴリズムの開発。
• 有界なノイズの大きさを仮定しないで、さまざまなノイズモデルに対してロバストな収束レートの提供。
• 非凸最適化に適用可能な新規なマルティングレイルに基づく解析技術の確立、従来の研究を凌駕するもの。

提案手法

• Alectonは、現在の反復点のノルムに逆比例するステップサイズを用いることで、安定性と収束性を保証するSGDを変更する。
• アルゴリズムは、確率的パワー反復を模倣するように設計されており、固有値問題と関連づけられ、グローバル収束を可能にする。
• 主な技術的要素として、測定演算子に対する制限等方性性質（RIP）を用い、$3p$-RIPとパラメータ $\delta < 1/3$ により、解の近傍で強い凸性が保証される。
• 変換された目的関数のヘッセ行列を分析し、$\|YY^T - A\|_F$ が小さい場合に、解の周囲の定数半径の球内で強い凸性が示される。
• ハイブリッド戦略を提案：まずAlectonで強い凸性の領域に到達し、その後座標降下法に切り替えて正確な解への線形レート収束を達成する。
• 解析は、ステップワイズ勾配の分散を制御し、一般なサンプリング条件下での収束を可能にする新規なマルティングレイルに基づく技術に依存する。

実験結果

リサーチクエスチョン

• RQ1 高コストな初期化を必要とせず、非凸な低ランク行列問題における確率的勾配降下法がグローバル収束可能か？
• RQ2 行列補完や関連問題において、確率的初期化から収束を保証する適応的ステップサイズルールは存在するか？
• RQ3 有界なノイズの大きさを仮定しないで、一般なノイズモデルに対して収束解析をロバストにできるか？
• RQ4 Alectonと確率的パワー反復との間に、非凸設定下でのグローバル収束を可能にする関連性は存在するか？
• RQ5 非凸低ランク最適化におけるグローバル収束レートを確立するためのマルティングレイルに基づく解析技術を開発可能か？

主な発見

• Alectonは、定数ランク問題において、確率的初期化から $O(\epsilon^{-1}n\log n)$ ステップで定数確率でグローバル収束を達成する。
• 反復点のノルムに基づく適応的ステップサイズルールにより、標準的なSGDが発散する場合でも収束を保証する。
• 解析はサンプルの分散にのみ依存するため、ノイズの大きさが有界であるという仮定がなくても、さまざまなノイズモデルに対してロバストである。
• 目的関数のヘッセ行列が、解の周囲の定数半径の球内で強い凸性を示すことが示され、高速な局所収束が可能になる。
• 下界の結果（付録E）により、一般設定下で収束レートが最適であることが示され、一部の先行手法よりも遅いが、高コストな初期化を要する手法に比べて優位性を示す。
• Alectonと座標降下法を組み合わせたハイブリッド手法により、高速なグローバル収束と正確な解への線形レートの精密化の両方が達成できる。