[論文レビュー] Variance reduction for Riemannian non-convex optimization with batch size adaptation

Andi Han, Junbin Gao|arXiv (Cornell University)|Jul 3, 2020

Stochastic Gradient Optimization Techniques参考文献 58被引用数 5

ひとこと要約

本稿では、分散低減型リーマン非凸最適化のための適応的バッチサイズ戦略を提案し、R-SVRGおよびR-SRG/R-SPIDER手法を向上させる。バッチサイズを動的に調整することで、より効率的に分散を低減し、従来の手法よりも低い総反復計算量を達成する。収束速度が向上し、解析が単純化され、特に有限和およびオンライン設定下での勾配優位関数に対して顕著である。

ABSTRACT

Variance reduction techniques are popular in accelerating gradient descent and stochastic gradient descent for optimization problems defined on both Euclidean space and Riemannian manifold. In this paper, we further improve on existing variance reduction methods for non-convex Riemannian optimization, including R-SVRG and R-SRG/R-SPIDER with batch size adaptation. We show that this strategy can achieve lower total complexities for optimizing both general non-convex and gradient dominated functions under both finite-sum and online settings. As a result, we also provide simpler convergence analysis for R-SVRG and improve complexity bounds for R-SRG under finite-sum setting. Specifically, we prove that R-SRG achieves the same near-optimal complexity as R-SPIDER without requiring a small step size. Empirical experiments on a variety of tasks demonstrate effectiveness of proposed adaptive batch size scheme.

研究の動機と目的

• バッチサイズを動的に適応させることで、リーマン非凸最適化における収束計算量を改善すること。
• 有限和およびオンライン設定下で、R-SVRGおよびR-SRG/R-SPIDERの総反復計算量を低減すること。
• R-SVRGの収束解析を単純化し、R-SRGの計算量バウンドを改善するが、小さなステップサイズを必要としないこと。
• 適応的バッチサイズが、多様なリーマン最適化タスクにおいて性能向上をもたらすことを示すこと。
• 適応戦略が勾配優位関数に対して近似的最適な計算量を達成することを理論的に保証すること。

提案手法

• 勾配分散を低減するために、時間の経過とともにバッチサイズを増加させるバッチサイズ適応メカニズムを導入する。
• 適応的バッチサイズをR-SVRGおよびR-SRG/R-SPIDERに適用し、反復ごとに変化するバッチサイズを使用するように更新ルールを変更する。
• ベクトル輸送を用いた再帰的勾配推定器を用い、多様体上でも正確性を維持しながら分散を低減する。
• 有限和およびオンライン設定下での収束バウンドを導出し、固定バッチサイズ手法と比較して計算量が改善されることを示す。
• 期待勾配ノルムをバウンドするために、均一な出力サンプリング戦略を採用し、収束を保証する。
• リャプノフ関数および再帰的分散低減技術を用いて、理論的計算量バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 バッチサイズの適応は、分散低減型リーマン最適化手法の総計算量を改善できるか？
• RQ2 適応的バッチサイズは、有限和およびオンライン設定下のリーマン非凸最適化において、より速い収束をもたらすか？
• RQ3 R-SVRGの収束解析は、適応的バッチサイズスキームのもとで単純化可能であり、計算量バウンドは維持または向上できるか？
• RQ4 提案手法は、リーマン多様体上での勾配優位関数に対して近似的最適な計算量を達成できるか？
• RQ5 適応的バッチサイズ戦略は、異なるリーマン最適化タスクにおいて、固定バッチサイズベースラインと比較してどのように実験的に評価されるか？

主な発見

• 提案された適応的バッチサイズ戦略は、有限和およびオンライン設定下で、既存のR-SVRGおよびR-SRG手法よりも低い総計算量を達成する。
• 適応的バッチサイズを用いたR-SRGは、小さなステップサイズを必要とせず、R-SPIDERと同等の近似的最適な計算量を達成する。
• R-SVRGの収束解析が単純化され、適応的バッチサイズスキームのもとで計算量バウンドが改善される。
• PCA、低ランク行列補完、リーマンK-meansにおける実験結果から、複数の多様体にわたり、適応的バッチサイズアプローチの有効性が確認される。
• 初期学習段階で勾配分散をより効率的に低減し、収束に近づくとより高いバッチサイズに適応することで、安定性と速度が向上する。
• 総IFO計算量は、固定バッチサイズR-SPIDERと比較して$1/\theta$の要因で低減され、$\Xi = \mathcal{O}(\frac{\Theta G}{\epsilon})$が計算量スケーリングを支配する。