[論文レビュー] Riemannian stochastic variance reduced gradient

Hiroyuki Sato, Hiroyuki Kasai+1 more|arXiv (Cornell University)|Feb 18, 2017

Topological and Geometric Data Analysis被引用数 19

ひとこと要約

本稿では、リーマン多様体上の最適化に一般化されたSVRGを再考し、非ユークリッド空間における勾配操作を処理するためのリトラクションとベクトル輸送を活用することで、R-SVRGと呼ばれるリーマン多様体用確率的分散低減勾配アルゴリズムを提案する。減少するステップサイズを用いることでグローバル収束を達成し、固定ステップサイズでは局所的超線形収束を示す。対称正定値（SPD）多様体およびグラスマン多様体上での重心計算、主成分分析（PCA）、低ランク行列補完において、リーマン多様体確率的勾配降下法（RSGD）を上回る性能を発揮する。

ABSTRACT

In recent years, stochastic variance reduction algorithms have attracted considerable attention for minimizing the average of a large but finite number of loss functions. This paper proposes a novel Riemannian extension of the Euclidean stochastic variance reduced gradient (R-SVRG) algorithm to a manifold search space. The key challenges of averaging, adding, and subtracting multiple gradients are addressed with retraction and vector transport. For the proposed algorithm, we present a global convergence analysis with a decaying step size as well as a local convergence rate analysis with a fixed step size under some natural assumptions. In addition, the proposed algorithm is applied to the computation problem of the Riemannian centroid on the symmetric positive definite (SPD) manifold as well as the principal component analysis and low-rank matrix completion problems on the Grassmann manifold. The results show that the proposed algorithm outperforms the standard Riemannian stochastic gradient descent algorithm in each case.

研究の動機と目的

• 標準的なユークリッド空間の操作（平均化やベクトル加算）が定義されないリーマン多様体上での分散低減技術の適用という課題に対処すること。
• ユークリッド空間におけるSVRGの収束優位性を保ちつつ、多様体の幾何構造に適合させる確率的最適化アルゴリズムの開発。
• 多様体および目的関数に関する自然な仮定の下で、提案アルゴリズムのグローバルおよび局所的収束保証を確立すること。
• 対称正定値多様体およびグラスマン多様体上での実世界の問題において、標準的なリーマン多様体確率的勾配降下法（RSGD）に比べ、R-SVRGの実用的優位性を示すこと。

提案手法

• アルゴリズムは、ユークリッド空間におけるSVRGフレームワークをリーマン多様体へ拡張し、指数写像の近似としてリトラクション、勾配の平行移動としてベクトル輸送を用いることで、ユークリッド的演算をリーマン的演算に置き換える。
• 勾配差分はリーマン的演算を用いて計算・更新され、各反復で全勾配計算を必要とせずに分散低減を維持する。
• 減少するステップサイズにより、目的関数および多様体幾何に関する標準的仮定の下で、臨界点へのグローバル収束が保証される。
• 固定ステップサイズでは、多様体上でのヘッセ行列のリプシッツ連続性などの追加の正則性条件を満たす場合、局所的線形収束を示す。
• 本手法は、重心計算のための対称正定値（SPD）多様体およびPCAと低ランク行列補完のためのグラスマン多様体に適用される。
• SPD行列およびグラスマン部分空間の幾何に特化した、多様体固有のリトラクションおよびベクトル輸送演算子が使用される。

実験結果

リサーチクエスチョン

• RQ1 標準的なベクトル演算が定義されないリーマン多様体上でも、ユークリッド最適化における分散低減技術を効果的に拡張できるか？
• RQ2 リトラクションとベクトル輸送を用いて、多様体上でのSVRGにおける勾配の平均化および差分計算をどのように置き換えられるか？
• RQ3 自然な幾何的仮定の下で、提案されたリーマン多様体SVRGアルゴリズムに対して、グローバルおよび局所的収束保証をどのように確立できるか？
• RQ4 実用的な多様体学習タスクにおいて、R-SVRGは標準的なリーマン多様体確率的勾配降下法（RSGD）を上回る性能を示すか？

主な発見

• 標準的仮定の下で減少ステップサイズを用いることで、R-SVRGは多様体上での臨界点へのグローバル収束を達成する。
• 固定ステップサイズでは、追加の正則性条件（多様体上でのヘッセ行列のリプシッツ連続性など）を満たす場合、局所的線形収束を示し、最適解付近での高速収束を示す。
• 対称正定値多様体上では、R-SVRGはリーマン多様体確率的勾配降下法（RSGD）に比べ、リーマン多様体重心の計算で顕著に優れた性能を示す。
• グラスマン多様体上での主成分分析（PCA）では、R-SVRGはRSGDよりも収束が速く、より安定している。
• グラスマン多様体上での低ランク行列補完では、R-SVRGはRSGDに比べ、収束速度および精度の両面で優れた性能を示す。
• リトラクションとベクトル輸送の使用により、全勾配評価を必要とせずに効果的な分散低減が実現され、計算オーバーヘッドが低減される。