[論文レビュー] Riemannian stochastic variance reduced gradient on Grassmann manifold

Hiroyuki Kasai, Hiroyuki Sato+1 more|arXiv (Cornell University)|May 24, 2016

Stochastic Gradient Optimization Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、Grassmann多様体上の最適化のためのリーマン確率的分散低減勾配（RSVRG）を提案する。分散低減とリーマン幾何学を組み合わせることで収束を加速する。局所幾何構造と勾配分散低減を活用することで、標準的なリーマン確率的勾配法よりも高速な収束レートを達成し、低ランク行列回復問題において優れた性能を示す。

ABSTRACT

Stochastic variance reduction algorithms have recently become popular for minimizing the average of a large, but finite, number of loss functions. In this paper, we propose a novel Riemannian extension of the Euclidean stochastic variance reduced gradient algorithm (R-SVRG) to a compact manifold search space. To this end, we show the developments on the Grassmann manifold. The key challenges of averaging, addition, and subtraction of multiple gradients are addressed with notions like logarithm mapping and parallel translation of vectors on the Grassmann manifold. We present a global convergence analysis of the proposed algorithm with decay step-sizes and a local convergence rate analysis under fixed step-size with some natural assumptions. The proposed algorithm is applied on a number of problems on the Grassmann manifold like principal components analysis, low-rank matrix completion, and the Karcher mean computation. In all these cases, the proposed algorithm outperforms the standard Riemannian stochastic gradient descent algorithm.

研究の動機と目的

• Grassmann多様体上での標準的なリーマン確率的勾配法の収束が遅いという問題に取り組む。
• 非ユークリッド的で低ランク行列最適化問題に特化した分散低減型最適化フレームワークを開発する。
• リーマン幾何学を用いて、大規模な低ランク行列回復タスクにおける収束速度と安定性を向上させる。
• 提案されたRSVRG法がGrassmann多様体上で有効に収束することを理論的に保証する。

提案手法

• Grassmann多様体上でのリーマン確率的分散低減勾配（RSVRG）アルゴリズムを提案し、分散低減をリーマン最適化に統合する。
• 反復点をGrassmann多様体上に維持するために、再投影（retraction）とベクトル輸送（vector transport）を用いる。
• データのサブセットに対して勾配を定期的に再計算することで、確率的更新におけるノイズを低減する分散低減を適用する。
• 二重ループ構造を採用：外側のループで全勾配を計算し、内側のループで分散が低減された確率的更新を実行する。
• Grassmann多様体のリーマン構造を活用して、測地線距離と指数写像を定義し、正確な勾配降下ステップを実現する。
• 標準的な仮定の下で収束レートを導出し、提案手法が線形収束を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 分散低減技術は、Grassmann多様体上でのリーマン最適化に効果的に適応可能か？
• RQ2 提案されたRSVRG法は、標準的なリーマン確率的勾配降下法よりも高速に収束するか？
• RQ3 RSVRGアルゴリズムはGrassmann多様体上でどの程度の理論的収束速度を示すか？
• RQ4 既存手法と比較して、RSVRGは実用的な低ランク行列回復タスクでどの程度の性能を発揮するか？

主な発見

• 標準的な仮定の下で、提案されたRSVRG法はGrassmann多様体上で線形収束を達成し、標準的なリーマン確率的勾配降下法を上回る。
• 実験結果から、RSVRGは低ランク行列回復タスクにおいて、ベースライン手法と比較して著しく高速に収束することが示された。
• 分散低減のおかげで、ノイズの多い確率的勾配に対しても安定性を保ち、振動を回避する。
• 理論的分析により、RSVRGの収束速度が標準的なリーマン確率的勾配法を上回ることを確認した。