[論文レビュー] Vector Transport-Free SVRG with General Retraction for Riemannian Optimization: Complexity Analysis and Practical Implementation

Bo Jiang, Shiqian Ma+2 more|arXiv (Cornell University)|May 25, 2017

Stochastic Gradient Optimization Techniques参考文献 30被引用数 14

ひとこと要約

本稿では、一般の多様体上のリーマン最適化のための、任意の再構成写像を用いた、ベクトル輸送を不要とする確率的分散低減勾配法S-SVRGを提案する。平行移動やベクトル輸送の必要性を排除することで、計算コストを低減し、Łojasiewicz不等式のもとで反復複雑度の上限を確立する。局所的線形収束性と、Barzilai-Borweinステップサイズによる実用的性能向上を達成する。

ABSTRACT

In this paper, we propose a vector transport-free stochastic variance reduced gradient (SVRG) method with general retraction for empirical risk minimization over Riemannian manifold. Existing SVRG methods on manifold usually consider a specific retraction operation, and involve additional computational costs such as parallel transport or vector transport. The vector transport-free SVRG with general retraction we propose in this paper handles general retraction operations, and do not need additional computational costs mentioned above. As a result, we name our algorithm S-SVRG, where the first "S" means simple. We analyze the iteration complexity of S-SVRG for obtaining an $ε$-stationary point and its local linear convergence by assuming the Łojasiewicz inequality, which naturally holds for PCA and holds with high probability for matrix completion problem. We also incorporate the Barzilai-Borwein step size and design a very practical S-SVRG-BB method. Numerical results on PCA and matrix completion problems are reported to demonstrate the efficiency of our methods.

研究の動機と目的

• ベクトル輸送や平行移動の計算コストを回避するリーマン最適化のための確率的分散低減勾配法の開発。
• 平行移動のような特殊な計算装置を必要としない一般の再構成写像の使用を可能にする。
• Łojasiewicz不等式のもとで、ϵ-停留点に到達するまでの反復複雑度の上限を確立する。
• PCA や行列補完問題のような、Łojasiewicz 条件が成り立つ問題において、局所的線形収束性を示す。
• Barzilai-Borwein ステップサイズを組み込んだ実用的バージョン、S-SVRG-BB の設計により、実験的性能を向上させる。

提案手法

• 指数写像や特殊な輸送を用いるのではなく、一般の再構成写像を用いるベクトル輸送フリーなSVRGの変種、S-SVRGを提案する。
• 定期的な間隔で全勾配のスナップショットを用いて、分散低減を実現する確率的勾配推定器を採用する。
• ベクトル輸送を必要とせず、目的関数の十分な減少を保証するように変更されたステップサイズルールを導入する。
• Łojasiewicz不等式を用いて、多様体上の非凸問題における局所的線形収束性を確立する。
• 過去の勾配に基づいてステップサイズを適応的に調整するBarzilai-Borwein（BB）ステップサイズ選択を組み込み、実用的収束速度を向上させる。
• 新たなリャプノフ関数を用いた収束解析と、1反復あたりの目的関数値の期待減少量の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上での確率的分散低減勾配法は、ベクトル輸送や平行移動を必要とせずに設計可能か？
• RQ2 一般の再構成写像を用いた場合、ϵ-停留点に到達するまでの反復複雑度はどの程度か？
• RQ3 PCA や行列補完問題のような、Łojasiewicz 不等式が成り立つ問題において、この手法は局所的線形収束性を達成するか？
• RQ4 Barzilai-Borwein ステップサイズを組み込むことで、固定ステップサイズと比較して実用的性能にどのような影響を与えるか？
• RQ5 既存のリーマンSVRG手法と比較して、計算オーバーヘッドを低減しつつ理論的保証を維持できるか？

主な発見

• Łojasiewicz不等式のもとで、ϵ-停留点を求めるためのIFO（内部関数オракル）複雑度が O(n^{2/3}/ϵ + n) に達する。
• PCA や行列補完問題において、Łojasiewicz 条件が高確率で成り立つため、局所的線形収束性を保証する。
• S-SVRG-BB は、PCA および行列補完タスクにおいて、標準的なSVRG や R-SVRG よりも優れた実験的性能を示し、収束速度が向上する。
• 理論的解析により、S-SVRG がベクトル輸送や平行移動の計算負荷を回避できることを確認し、より広範な適用可能性を実現する。
• 指数写像に限定せず、一般の再構成写像を用いても収束保証が維持されることを示す。
• 測地線的滑らかさと有界曲率という弱い仮定のもとで理論的境界を導出し、実用的問題に対して頑健であることを確認する。