[論文レビュー] Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization

Zeyuan Allen-Zhu|arXiv (Cornell University)|Feb 11, 2018

Stochastic Gradient Optimization Techniques被引用数 21

ひとこと要約

本稿では、平均が凸である非凸関数の和として定式化される問題に対する実用的な勾配上がけの確率的最適化手法であるKatyusha Xを提案する。SVRGフレームワークに1つの勾配上がけ項を追加することで、ミニバッチを用いた証明可能な線形スケーリング速度向上を達成し、PCA や k-SVD といった高精度タスクにおいて顕著な性能向上を実現した。

ABSTRACT

The problem of minimizing sum-of-nonconvex functions (i.e., convex functions that are average of non-convex ones) is becoming increasingly important in machine learning, and is the core machinery for PCA, SVD, regularized Newton's method, accelerated non-convex optimization, and more. We show how to provably obtain an accelerated stochastic algorithm for minimizing sum-of-nonconvex functions, by $\ extit{adding one additional line}$ to the well-known SVRG method. This line corresponds to momentum, and shows how to directly apply momentum to the finite-sum stochastic minimization of sum-of-nonconvex functions. As a side result, our method enjoys linear parallel speed-up using mini-batch.

研究の動機と目的

• 平均が凸である非凸関数の和を最小化するための、証明可能な加速された確率的アルゴリズムの設計。
• 有限和の確率的最適化に勾手上がけを直接統合し、非凸設定への勾手上がけの適用という長年の課題を解決すること。
• Nesterovの手法に comparable な加速収束レートを達成するが、確率的かつ有限和の設定であり、実用的な効率性を兼ね備えること。
• ミニバッチによる線形並列スケーリング速度向上を可能とし、大規模機械学習タスクにスケーラブルかつ実用的であるようにすること。

提案手法

• SVRG手法を拡張し、反復点に勾手上がけ更新ステップを追加することで、勾手上がけに基づく分散低減確率的最適化アルゴリズムに変換する。
• 非凸関数の和の構造を活用する新しい勾手上がけ更新を導入し、収束の加速を保証する。
• 個々の関数の二乗滑らかさパラメータに比例する確率でサンプリングする非一様サンプリング戦略を採用し、分散低減を改善する。
• 現在の反復点と勾手上がけ項のハイブリッド更新ルールを用い、収束性と安定性の両立を図るステップサイズを設定する。
• 反復点に対して再帰的平均化スキームを適用し、収束保証が向上した最終解を達成する。
• 強い凸性あり・なしの両設定において収束境界を導出し、両ケースで加速されたレートを示す。

実験結果

リサーチクエスチョン

• RQ1 有限和の確率的最適化において、非凸関数の和に対して勾手上がけを証明可能かつ直接的に適用できるか？
• RQ2 SVRG などの分散低減確率的手法に、非凸目的関数向けに最適な方法で勾手上がけを統合するにはどうすればよいか？
• RQ3 このような勾手上がけを強化した手法は、Nesterovの手法に comparable な加速収束レートを達成できるか、かつ確率的かつ有限和の設定を維持できるか？
• RQ4 勾手上がけの追加により、非凸有限和設定においてミニバッチによる線形スケーリング速度向上が可能になるか？
• RQ5 滑らかさおよび凸性の仮定が異なる条件下で、提案手法の理論的収束レートは何か？

主な発見

• σ > 0 の場合、収束レートが O((n + √nL/σ) log(1/ε))、σ = 0 の場合 O(n log(1/ε) + √nL/ε) に達し、凸有限和問題における最良の既知のレートと一致する。
• 本手法は、非凸有限和設定においても、加速手法に特徴的な条件数の平方根依存性を証明可能に達成する。
• ミニバッチによる線形並列スケーリング速度向上を享受し、強い凸性ありの場合の複雑度は O(n/b + L + √ℓ1ℓ2n/b / σ) にスケーリングする。
• 特にPCA や k-SVD といった高精度領域において、標準的な SVRG や SGD よりも収束が改善される。
• 本手法は、非凸関数の和最適化において、証明可能かつ実用的な勾手上がけ加速を初めて提供するものであり、PCA、SVD、非凸ニュートン法への応用が可能である。
• 理論的分析により、勾手上がけステップが加速に不可欠であることが確認され、理論的および実践的両面で非加速バージョンを上回る性能を示す。