[論文レビュー] Direct Acceleration of SAGA using Sampled Negative Momentum

Kaiwen Zhou|arXiv (Cornell University)|Jun 28, 2018

Stochastic Gradient Optimization Techniques参考文献 30被引用数 11

ひとこと要約

本稿では、有限和複合最適化問題に対するSAGAの直接的加速であるサンプリング負モーメンタム（SSNM）を提案する。独立したサンプルを用いた新規な負モーメンタム機構を導入することで、強い凸問題において、$\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$ の最良-knownのオракル複雑度を達成し、Katyusha や MiG の最先端のレートを達成するとともに、SAGA の低メモリオーバーヘッドと実用的効率性を維持する。

ABSTRACT

Variance reduction is a simple and effective technique that accelerates convex (or non-convex) stochastic optimization. Among existing variance reduction methods, SVRG and SAGA adopt unbiased gradient estimators and are the most popular variance reduction methods in recent years. Although various accelerated variants of SVRG (e.g., Katyusha and Acc-Prox-SVRG) have been proposed, the direct acceleration of SAGA still remains unknown. In this paper, we propose a directly accelerated variant of SAGA using a novel Sampled Negative Momentum (SSNM), which achieves the best known oracle complexity for strongly convex problems (with known strong convexity parameter). Consequently, our work fills the void of directly accelerated SAGA.

研究の動機と目的

• SAGAの直接的加速におけるギャップを埋めること、これはかつてKatyusha や MiG のような加速SVRG手法に匹敵するバージョンが存在しなかった。
• 間接的加速技術（例：還元やproximal point法）に依存せずに、強い凸有限和問題における最良-knownのオラクル複雑度を達成する手法を開発すること。
• 特に劣化しやすい問題において加速が最も効果的であるが、高速収束を維持しながら低メモリ複雑度を確保すること。
• 実験的に、提案手法がSAGAを上回り、特に高条件数設定においてKatyusha や MiG と同等の性能を発揮することを検証すること。

提案手法

• 独立したサンプル $I_k$ を用いて負モーメンタム項を計算する、新規なモーメンタム機構であるサンプリング負モーメンタム（SSNM）を導入。これは勾配サンプル $i_k$ とは明確に区別される。
• SAGAの更新則に、$\tilde{x}_k$（過去の反復点）を用いた負モーメンタム項 $\tau (x_k - \tilde{x}_k)$ を追加することで収束を加速する。
• 二重サンプリング戦略を採用：確率的勾配のための1つのサンプル $i_k$ と、負モーメンタムの計算のための別の独立したサンプル $I_k$ を使用し、分散の蓄積を低減する。
• 強い凸性の下での理論的収束レートを導出。$\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$ のオラクル複雑度を示し、最良-knownのレートと一致することを確認。
• パラメータスキームとして $\eta = \sqrt{1/(3\mu n L)}$ と $\tau = \frac{n\eta\mu}{1 + \eta\mu}$ を使用。安定性と収束を保証する。
• Hadrien Hendrikx の知見を活用し、以前のAISTATS版の高メモリコストを回避することで、メモリ複雑度を低減する。

実験結果

リサーチクエスチョン

• RQ1 Katyusha の負モーメンタムに類似したモーメンタム機構を用いて、還元などの間接的還元に依存せずにSAGAを直接的に加速できるか？
• RQ2 勾配サンプル $i_k$ を再利用するのではなく、独立したサンプル $I_k$ を負モーメンタムに用いることで、安定性と収束性が向上するか？
• RQ3 提案された加速SAGAの理論的オラクル複雑度は何か？ そして、強い凸問題における最良-knownのレートと一致するか？
• RQ4 実際の性能において、SSNMはSAGA、Katyusha、MiG と比較してどのように振る舞うか？ 特に条件数 $\kappa$ が大きい劣化しやすい問題においては？
• RQ5 提案手法は、高速収束を達成しながらも、低メモリ複雑度を維持できるか？ これにより、大規模機械学習応用に適しているか？

主な発見

• SSNMは、強い凸問題において、$\mathcal{O}((n + \sqrt{\kappa n})\log(1/\epsilon))$ の最良-knownのオラクル複雑度を達成し、Katyusha や MiG のレートと一致する。
• λ = 10^{-8} の covtype データセットにおいて、理論的レートが同一であるにもかかわらず、SSNMはKatyusha や MiG よりも反復回数の観点で著しく速く収束する。
• $\kappa$ が10倍に増加すると、すべての加速手法が同程度 $\sqrt{10}$ 倍のオラクル呼び出し回数を必要とし、$\sqrt{\kappa}$ 依存性が確認される。
• SAGAは $\kappa$ が増加するにつれて著しく性能が低下するため、劣化しやすい設定では加速の利点が顕著に現れる。
• 勾配サンプル $i_k$ を負モーメンタムに再利用する（独立したサンプル $I_k$ を使用しない）と、収束が遅くなり、不安定になる。これは、独立したサンプリングが分散の蓄積を低減することを示唆する。
• SSNMの収束は他の手法と比較して多少不安定であるが、これは二重サンプリング機構により1反復あたりの不確実性が増加しているためと推測される。