[論文レビュー] A Simple Practical Accelerated Method for Finite Sums

Aaron Defazio|arXiv (Cornell University)|Feb 8, 2016

Stochastic Gradient Optimization Techniques被引用数 48

ひとこと要約

この論文は、滑らかで強い凸問題において最適収束速度を達成する、有限和のための単純で1パラメータの加速最適化手法を提案する。滑らかでない項に対しても自然に拡張可能であり、性能を落とさずにオペレータ分割法の代替手段を提供する。

ABSTRACT

Abstract We describe a novel optimization method for finite sums (such as empirical risk minimization problems) building on the recently introduced SAGA method. Our method achieves an accelerated convergence rate on strongly convex smooth problems. Our method has only one parameter (a step size), and is radically simpler than other accelerated methods for finite sums. Additionally it can be applied when the terms are non-smooth, yielding a method applicable in many areas where operator splitting methods would traditionally be applied.

研究の動機と目的

• 有限和問題のための実用的で単純な最適化手法を開発し、加速収束速度を達成すること。
• 従来のオペレータ分割法が必須となる非滑らか項に対しても加速を拡張すること。
• 既存の有限和用加速手法と比較してアルゴリズムの複雑さを低減すること。
• 実装の簡素化を保ちながらも、強力な理論的収束保証を維持すること。

提案手法

• SAGAフレームワークに基づくが、収束を加速するための新しいモーメンタム型更新を導入する。
• 1つのステップサイズパラメータのみを用いるため、他の加速手法と比較してチューニングが著しく簡素化される。
• アルゴリズムは勾配の履歴を保持し、過去の勾配とモーメンタム項の組み合わせを用いて解を更新する。
• 非滑らか項に対しては、プロキシマル型の更新を適用することで、非滑らか設定への適用を可能にする。
• 更新則は、最小値への進捗と安定性のバランスをとるように設計されており、緩い条件下でも収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 単純で1パラメータの手法が、有限和問題において加速収束を達成できるか？
• RQ2 オペレータ分割手法と比較して、非滑らか有限和問題における性能はいかが？
• RQ3 強く凸で滑らかな問題における、提案手法の理論的収束速度は何か？
• RQ4 アルゴリズムの複雑さを著しく増大させることなく、非滑らか項への拡張は可能か？

主な発見

• 強く凸で滑らかな有限和において、O(1/k²)の加速収束速度を達成し、理論的下界と一致する。
• 1つのハイパーパramータ（ステップサイズ）でのみ構成されるため、多パラメータ加速手法と比較して導入が容易である。
• プロキシマル風の更新により、非滑らか項に対しても適用可能であり、オペレータ分割の必要性を回避する。
• 実験的結果から、ベンチマーク問題において標準SAGAや他の非加速手法と比較して、より速い収束を示した。