[論文レビュー] Stochastic Variance Reduced Riemannian Eigensolver

Zhiqiang Xu, Yiping Ke|arXiv (Cornell University)|May 26, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、非凸固有値分解に向けたリーマン多様体への確率的分散低減手法SVRGの一般化を実現する新規な確率的分散低減リーマン固有値解法SVRRG-EIGSを提案する。固定学習率を用いながら指数的全域収束を達成することで、学習率を減少させる必要がある従来の確率的リーマン最適化手法の遅い線形収束を克服する。

ABSTRACT

We study the stochastic Riemannian gradient algorithm for matrix eigen-decomposition. The state-of-the-art stochastic Riemannian algorithm requires the learning rate to decay to zero and thus suffers from slow convergence and sub-optimal solutions. In this paper, we address this issue by deploying the variance reduction (VR) technique of stochastic gradient descent (SGD). The technique was originally developed to solve convex problems in the Euclidean space. We generalize it to Riemannian manifolds and realize it to solve the non-convex eigen-decomposition problem. We are the first to propose and analyze the generalization of SVRG to Riemannian manifolds. Specifically, we propose the general variance reduction form, SVRRG, in the framework of the stochastic Riemannian gradient optimization. It's then specialized to the problem with eigensolvers and induces the SVRRG-EIGS algorithm. We provide a novel and elegant theoretical analysis on this algorithm. The theory shows that a fixed learning rate can be used in the Riemannian setting with an exponential global convergence rate guaranteed. The theoretical results make a significant improvement over existing studies, with the effectiveness empirically verified.

研究の動機と目的

• 最新の確率的リーマン固有値解法が学習率を減少させる必要があるという遅い収束を解消すること。
• Euclidean空間におけるSVRGの分散低減技術を非凸最適化のためのリーマン多様体へ一般化すること。
• 定数学習率で指数的収束を達成する新しいアルゴリズム、SVRRG-EIGSの開発。
• 期待値における全域収束と加速された収束レートを示す厳密な理論的分析の提供。
• 提案手法が既存の確率的リーマン固有値解法を上回ることを実験的に検証すること。

提案手法

• 確率的リーマン勾配最適化フレームワーク内に、一般化された分散低減フレームワークSVRRGを提案する。
• SVRRGをリーマン固有値解法問題に特化させ、SVRRG-EIGSアルゴリズムを導出する。
• 固有ベクトル行列の正規直交性を維持するため、リトラクションとリーマン勾配更新を用いる。
• 定期的にデータのサブセット上で全勾配を計算することで、勾配の分散低減にためのコントロールバリアント戦略を採用する。
• 2段階のエポック構造を導入：内側ループで分散低減勾配を、外側ループで全勾配更新を実行する。
• 集中不等式と再帰的誤差伝播を用いて理論的バウンディングを導出し、指数的収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 Euclidean空間におけるSGDの分散低減技術を、非凸問題のためのリーマン最適化へ一般化できるか？
• RQ2 提案されたSVRRGフレームワークは、リーマン設定において固定学習率で指数的収束を可能にするか？
• RQ3 SVRRG-EIGSは、既存の確率的リーマン固有値解法と比較して、収束速度と解の品質の点で優れているか？
• RQ4 SVRRG-EIGSの全域収束と誤差減衰に対して、どのような理論的保証を確立できるか？
• RQ5 高い確率で収束するための必要十分条件として、学習率、バッチサイズ、初期化にどのような制約があるか？

主な発見

• SVRRG-EIGSは、学習率を固定したまま指数的全域収束を達成する一方、学習率を減少させる必要があるDSRG-EIGSとは異なり、線形収束にとどまらない。
• 初期誤差とハイパーパrameterが特定の条件を満たしていれば、最適解への収束が高確率で保証される。
• 収束速度は指数的に速く、必要なエポック数は所望の精度εに対して対数的にスケーリングされる。
• 必要なエポック数はT = ⌈log(1/ε)/log(1/φ)⌉で与えられ、φは失敗確率を制御する。
• 実験結果から、SVRRG-EIGSはDSRG-EIGSよりも著しく速く収束し、固定学習率でもより優れた解品質を達成することが確認された。
• 理論的分析から、誤差が高確率でO(φ^T)の速度で減少することが示され、φ ∈ (0, 1)は失敗確率を制御する。このバウンディングは問題固有の定数に依存する。