[論文レビュー] Shuffling Gradient-Based Methods with Momentum.

Trang H. Tran, Lam M. Nguyen+1 more|arXiv (Cornell University)|Nov 24, 2020

Stochastic Gradient Optimization Techniques参考文献 24被引用数 4

ひとこと要約

本稿では、非凸な有限和最適化問題に対して、勾配のシャッフルとモーメンタムを組み合わせた新規の勾配ベース手法を提案する。L-スムーズ性と分散の有界性の下で、最先端の収束レートを達成する。この手法は、既存の手法を上回り、特にランダムシャッフルを用いることで、データサイズの一部に相当する収束の向上を達成する。

ABSTRACT

We combine two advanced ideas widely used in optimization for machine learning: shuffling strategy and momentum technique to develop a novel shuffling gradient-based method with momentum to approximate a stationary point of non-convex finite-sum minimization problems. While our method is inspired by momentum techniques, its update is fundamentally different from existing momentum-based methods. We establish that our algorithm achieves a state-of-the-art convergence rate for both constant and diminishing learning rates for any shuffling strategy under standard assumptions (i.e., L-smoothness and bounded variance). In particular, if a randomized reshuffling strategy is used, we can further improve our convergence rate by a fraction of the data size. When the shuffling strategy is fixed, we develop another new algorithm that is similar to existing momentum methods. This algorithm covers the single-shuffling and incremental gradient schemes as special cases. We prove the same convergence rate of this algorithm under the L-smoothness and bounded gradient assumptions. We demonstrate our algorithms via numerical simulations on standard datasets and compare them with existing shuffling methods. Our tests have shown encouraging performance of the new algorithms.

研究の動機と目的

• 非凸な有限和最小化問題における収束の加速を、高度な最適化技術を用いて解決すること。
• 従来、別個に扱われてきたシャッフル戦略とモーメンタムベースの手法の間のギャップを埋めること。
• 単一シャッフルやインクリメンタル勾配スキームといった既存手法を一般化する統一的なフレームワークの構築。
• L-スムーズ性と勾配の分散の有界性、または勾配の有界性といった標準的仮定の下での理論的収束保証の確立。

提案手法

• 本手法は、シャッフル戦略とモーメンタムベースの更新ルールを統合しており、既存のモーメンタム手法とは本質的に異なる。
• 各反復でデータサンプルの順序を再配置するランダムシャッフル戦略を採用し、収束速度の向上を図る。
• 固定シャッフルの場合、標準的なモーメンタム手法と類似した更新メカニズムを用いるが、単一シャッフルやインクリメンタル勾配スキームを含む一般化を実現する。
• 更新ルールは、L-スムーズ性と分散の有界性を満たすように設計されており、さまざまなデータシャッフルパターンに対してもロバストであることを保証する。
• 理論的分析は、標準的仮定に依拠している：目的関数のL-スムーズ性と勾配の分散の有界性。
• 数値実験は、標準的な機械学習データセットを用いて、既存のシャッフルベース最適化手法との性能を検証するために実施された。

実験結果

リサーチクエスチョン

• RQ1 シャッフル戦略とモーメンタムを組み合わせることで、非凸な有限和最適化における収束レートの向上が可能か？
• RQ2 シャッフル戦略の選択（ランダム vs 固定）が、モーメンタムベース手法の収束行動に与える影響は何か？
• RQ3 L-スムーズ性と分散の有界性といった標準的仮定の下で、提案手法の理論的収束レートは何か？
• RQ4 提案手法は、単一シャッフルやインクリメンタル勾配スキームといった既存手法を統一的なフレームワーク内で一般化できるか？

主な発見

• 標準的仮定の下で、定数および徐々に小さくなる学習率の両方において、提案手法は最先端の収束レートを達成する。
• ランダムシャッフル戦略を用いることで、既存手法と比較して、データサイズの一部に相当する収束の向上が達成される。
• 固定シャッフルの場合、L-スムーズ性と勾配の有界性の仮定の下で、同じ収束レートを維持する。
• 標準データセットを用いた数値実験により、提案アルゴリズムが実際の応用において、既存のシャッフルベース手法を上回ることが確認された。
• 本手法は、単一シャッフルおよびインクリメンタル勾配スキームを特別なケースとして一般化しており、より広範な適用可能性を示している。
• 理論的分析により、非凸な有限和問題において、定常点への収束が保証された。これにより、実用的有用性が裏付けられた。