[論文レビュー] Momentum with Variance Reduction for Nonconvex Composition Optimization

Ziyi Chen, Yi Zhou|arXiv (Cornell University)|May 15, 2020

Stochastic Gradient Optimization Techniques参考文献 30被引用数 4

ひとこと要約

本稿は、SPIDERに基づく分散低減を用いた非凸合成最適化のための新規の運動量法を提案する。有限和およびオンライン設定の両方で近似的に最適なサンプル複雑度を達成し、従来の Katyusha スタイルの手法と比較してプロキシマルマッピング評価回数を削減し、勾配優位性のもとで線形収束を確立することで、既存の手法よりも顕著に収束を高速化する。

ABSTRACT

Composition optimization is widely-applied in nonconvex machine learning. Various advanced stochastic algorithms that adopt momentum and variance reduction techniques have been developed for composition optimization. However, these algorithms do not fully exploit both techniques to accelerate the convergence and are lack of convergence guarantee in nonconvex optimization. This paper complements the existing literature by developing various momentum schemes with SPIDER-based variance reduction for non-convex composition optimization. In particular, our momentum design requires less number of proximal mapping evaluations per-iteration than that required by the existing Katyusha momentum. Furthermore, our algorithm achieves near-optimal sample complexity results in both non-convex finite-sum and online composition optimization and achieves a linear convergence rate under the gradient dominant condition. Numerical experiments demonstrate that our algorithm converges significantly faster than existing algorithms in nonconvex composition optimization.

研究の動機と目的

• 非凸合成最適化における運動量ベースの分散低減の収束保証の欠如に対処する。
• 既存の Katyusha 動的スケーリング手法と比較して、1反復あたりのプロキシマルマッピング評価回数を削減する。
• 非凸有限和およびオンライン合成最適化において、近似的に最適なサンプル複雑度を達成する。
• 運動量と分散低減を組み合わせたオンライン非凸合成最適化問題に対して、証明可能な収束保証を提供する。
• 非凸設定において理論的最適性を維持しながら、実用的な収束を顕著に加速する。

提案手法

• 非凸合成問題に適した、SPIDERに基づく分散低減と統合された新規な運動量スキームを提案する。
• 1反復あたりのプロキシマルマッピング評価回数を1回に制限する、新たな運動量更新法を設計し、計算コストを低減する。
• 2段階のサンプリング戦略を採用：定期的な間隔でフル勾配を計算し、それ以外は確率的勾配を用いる。SPIDERの低分散勾配推定を活用する。
• 収束速度と安定性のバランスを取るハイブリッドハイパーパramータ選択ルールを導入し、理論的保証を確保する。
• 適応的ステップサイズと勾配追跡を組み合わせた再帰的運動量更新を用い、分散を低減し収束を加速する。
• テレスコピング級数とリャプノフ解析を用いて理論的バウンダリーを導出し、非凸および勾配優位性条件の下での収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 SPIDERに基づく分散低減を統合した運動量スキームを、証明可能な収束保証を備えた非凸合成最適化に適用可能か？
• RQ2 既存の Katyusha スタイルの運動量手法と比較して、1反復あたりのプロキシマルマッピング評価回数を削減可能か？
• RQ3 提案手法は、有限和およびオンライン非凸合成最適化の両方で近似的に最適なサンプル複雑度を達成するか？
• RQ4 勾配優位性条件のもとで、アルゴリズムは線形収束率を達成するか？
• RQ5 アルゴリズムは、既存の最先端手法と比較して顕著な実用的加速を示すか？

主な発見

• 提案手法は、有限和合成最適化問題に対して、近似的に最適なサンプル複雑度 O(√max(N,n)ε⁻² + N + n) を達成する。
• オンライン合成最適化においては、サンプル複雑度が O(ε⁻³) であり、対数要因を除いて理論的下界に一致する。
• アルゴリズムは1反復あたり1回のプロキシマルマッピング評価で十分であり、従来の Katyusha に基づく手法の2回評価と比較して計算コストを低減する。
• 勾配優位性条件のもとで、アルゴリズムは線形収束率を達成し、高速な実用的収束を示す。
• 数値実験により、非凸合成最適化設定において、既存のアルゴリズムと比較して顕著に高速に収束することが確認された。
• 理論的分析により、期待値における収束が確立され、最適性ギャップおよび勾配ノルムの明示的バウンダリーが得られた。