[論文レビュー] A unified variance-reduced accelerated gradient method for convex optimization

Guanghui Lan, Zhize Li+1 more|arXiv (Cornell University)|May 29, 2019

Stochastic Gradient Optimization Techniques参考文献 26被引用数 16

ひとこと要約

この論文は、条件数に応じてステップサイズを動的に調整し、統一されたフレームワークを用いることで、滑らかで凸および強く凸な問題の両方において最適な収束速度を達成する、新しいバリアンス低減付き加速勾配法であるVaragを導入する。Varagは、正則化子に強く凸でない場合でも、誤差バインディング条件を満たす問題に対して最適な線形収束を達成する。また、確率的有限和設定へも拡張され、最適な複雑度バウンドを維持する。

ABSTRACT

We propose a novel randomized incremental gradient algorithm, namely, VAriance-Reduced Accelerated Gradient (Varag), for finite-sum optimization. Equipped with a unified step-size policy that adjusts itself to the value of the condition number, Varag exhibits the unified optimal rates of convergence for solving smooth convex finite-sum problems directly regardless of their strong convexity. Moreover, Varag is the first accelerated randomized incremental gradient method that benefits from the strong convexity of the data-fidelity term to achieve the optimal linear convergence. It also establishes an optimal linear rate of convergence for solving a wide class of problems only satisfying a certain error bound condition rather than strong convexity. Varag can also be extended to solve stochastic finite-sum problems.

研究の動機と目的

• 滑らかで凸および強く凸な有限和問題の両方において最適な収束速度を達成する統一された一階法の開発。
• 従来の加速法が正則化子における強く凸性を必要としているという制限を克服し、データ適合項における強く凸性の恩恵を享受できるようにすること。
• 強く凸性ではなく誤差バインディング条件を満たす広範な問題クラスに対して最適な線形収束を確立すること。
• 分散環境における最適なサンプリングおよび通信複雑度を維持しながら、確率的有限和問題へも拡張すること。

提案手法

• Varagは、条件数に適応する統一されたステップサイズポリシーを採用し、異なる問題クラスにおいて最適な収束を実現する。
• 制御変数とモーメンタムに類似した加速を組み合わせた、新たなバリアンス低減勾配推定器を用いる。
• アルゴリズムはエポック単位で動作し、内部反復ではプロキシマル勾配ステップと、時間経過とともにバリアンスを低減する確率的勾配推定器が使用される。
• 問題パラメータと所望の精度に応じて、各エポックのバッチサイズと反復回数を動的に調整する。
• ノイズの多い成分関数の勾配にアクセスすることで、確率的有限和問題へも拡張され、最適な複雑度が維持される。
• 理論的分析では、リャプノフ関数と再帰的誤差バウンドを用いて、さまざまな条件下での収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 1つのバリアンス低減付き加速法が、滑らかで凸および強く凸な有限和問題の両方において最適な収束速度を達成できるか？
• RQ2 正則化子が強く凸でない場合でも、データ適合項における強く凸性の恩恵をそのような法が享受できるか？
• RQ3 強く凸性ではなく誤差バインディング条件を満たす場合の、有限和問題の最適なサンプリングおよび通信複雑度は何か？
• RQ4 最適な収束速度を維持しながら、確率的有限和問題へも拡張可能か？
• RQ5 異なる問題クラスにわたる収束を統一する最適なステップサイズポリシーは何か？

主な発見

• Varagは、滑らかで強く凸な有限和問題に対して、最適な複雑度 O((m + L/μ)log(1/ε)) を達成し、下界と一致する。
• 正則化子に強く凸性がなくても、誤差バインディング条件を満たす問題に対して最適な線形収束を確立する。
• 滑らかで凸な問題では、Varagはサンプリング複雑度 O(mCσ²/(Lε)) および分散環境下での通信複雑度 O(m log(1/ε)) を達成する。
• 確率的有限和問題では、Varagはサンプリング複雑度 O(Cσ²D₀/(Lε²)) および通信複雑度 O(m log m + √(mD₀/ε)) を維持する。
• 数値実験では、VaragはProx-SVRGを上回り、勾配呼び出し1回あたりの訓練損失ではKatyushaと同等の性能を示す。また、1エポックあたりのプロキシマルマッピング回数が少ないため、CPUコストが低い。
• この手法は、データ適合項における強く凸性の恩恵を享受できる最初の加速RIG法であり、リッジ回帰のような実用的機械学習問題において、より速い収束を実現する。