[論文レビュー] Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization

Huizhuo Yuan, Wenqing Hu|arXiv (Cornell University)|Jun 1, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用数 8

ひとこと要約

本稿では、$\min_x f(g(x))$ の形をとる非凸な合成最適化問題を対象として、STORM-Compositional と呼ばれる新しい1ループ型の確率的最適化アルゴリズムを提案する。ここで $f$ と $g$ は確率的関数の期待値である。指数移動平均を用いて再帰的分散低減勾配更新にモーメンタムを統合することで、STORM-Compositional は $\mathcal{O}(\varepsilon^{-3})$ のインクリメンタル1次オракル（IFO）複雑度を達成し、既存の最良の境界と一致する一方で、バッチサイズのチューニングやチェックポイント勾配の保存を不要にする。

ABSTRACT

We propose a novel stochastic optimization algorithm called STOchastic Recursive Momentum for Compositional (STORM-Compositional) optimization that minimizes the composition of expectations of two stochastic functions, the latter being an optimization problem arising in various important machine learning applications. By introducing the momentum term in the compositional gradient updates, STORM-Compositional operates the stochastic recursive variance-reduced compositional gradients in an exponential-moving average way. This leads to an $O(\varepsilon^{-3})$ complexity upper bound for STORM-Compositional, that matches the best known complexity bounds in previously announced compositional optimization algorithms. At the same time, STORM-Compositional is a single loop algorithm that avoids the typical alternative tuning between large and small batch sizes, as well as recording of checkpoint gradients, that persist in variance-reduced stochastic gradient methods. This allows considerably simpler parameter tuning in numerical experiments, which demonstrates the superiority of STORM-Compositional over other stochastic compositional optimization algorithms.

研究の動機と目的

• 分散低減型確率的合成最適化アルゴリズムが、大きなバッチサイズと小さなバッチサイズを交互に切り替える必要があることによる高いパラメータ感度の課題に対処すること。
• SARAH-C などの既存の分散低減手法で一般的に見られるチェックポイント勾配の保存を不要にする。
• 1ループ構造を採用することで、最適な $\mathcal{O}(\varepsilon^{-3})$ のIFO複雑度を維持しつつ、収束効率を損なわないアルゴリズムの開発。
• モーメンタムに基づく再帰的勾配更新により、ハイパーパramータチューニングを簡素化し、実用性を向上。
• 実世界の問題、例えば確率的近傍埋め込みやポートフォリオ管理において、優れた経験的性能を示すこと。

提案手法

• 分散を低減するための指数移動平均の形で、再帰的勾配更新にモーメンタムを統合した、合成勾配の再帰的更新メカニズムを導入。
• $g$、$\partial g$、$\nabla f$ の確率的推定値を用いて、合成勾配推定子 $\widehat{\nabla \Phi}(x) = (\widehat{\partial g})^T \widehat{\nabla f}(\widehat{g})$ を構築。
• STORM（Stochastic Recursive Momentum）フレームワークを合成設定に適用し、標準的な分散低減をモーメンタム駆動の再帰的更新に置き換え。
• 大・小バッチサイズの切り替えを回避する1ループ構造を採用し、実装とチューニングを簡素化。
• 履歴のチェックポイントを保存せずに、再帰的に勾配推定値を更新する適応的モーメンタム項を統合。
• 実験では、すべてのパラメータ $\eta$（ステップサイズ）、$\varepsilon$（精度）、$S_{\cdot}$（モーメンタム記憶サイズ）、$B_{\cdot}$（バッチサイズ）、$a_{\cdot}$（モーメンタム係数）を固定値に設定。

実験結果

リサーチクエスチョン

• RQ1 1ループ型の確率的合成最適化アルゴリズムは、バッチサイズを交互に切り替える必要がなく、最適な $\mathcal{O}(\varepsilon^{-3})$ のIFO複雑度を達成できるか？
• RQ2 合成最適化における再帰的勾配更新にモーメンタムを組み込むことで、収束性が向上し、パラメータ感度が低下するか？
• RQ3 STORM-Compositional は、SARAH-C や VRSC-PG、SCGD と比較して、収束速度とハイパーパramータ選択へのロバスト性において優れるか？
• RQ4 チェックポイント勾配の保存が存在しないことで、分散低減型合成最適化の性能と安定性にどのような影響を与えるか？
• RQ5 モーメンタムに基づく再帰的更新メカニズムは、ポートフォリオ管理や確率的近傍埋め込みのような非凸な合成問題において、実用的な収束性をどの程度向上させるか？

主な発見

• STORM-Compositional は $\mathcal{O}(\varepsilon^{-3})$ のIFO複雑度バウンディングを達成し、SARAH-C の既存の最良理論的上限と一致する。
• アルゴリズムは1ループ型であり、大・小バッチサイズの切り替えを回避することで、ハイパーパramータチューニングが簡素化される。
• STORM-Compositional は、分散低減手法において大きな実用的負担となるチェックポイント勾配の保存を不要にする。
• 確率的近傍埋め込みにおける数値実験では、最小限のハイパーパramータチューニングでも、SARAH-C や VRSC-PG、SCGD、ASC-PG を上回る性能を示す。
• 十分な反復回数を経過した後、目的関数差 $\Phi(x) - \Phi^*$ および勾配ノルムの両面で、収束が速くなる。
• 経験的優位性は、追加のメモリやチューニングのオーバーヘッドなしに最適化を安定化させる、モーメンタム駆動の再帰的勾配更新に起因する。