[論文レビュー] Accelerated Stochastic Gradient Descent for Minimizing Finite Sums

Atsushi Nitanda|arXiv (Cornell University)|Jun 9, 2015

Stochastic Gradient Optimization Techniques参考文献 1被引用数 4

ひとこと要約

本稿では、ミニバッチフレームワーク内での加速勾配降下法と分散低減を組み合わせた、新しい確率的最適化手法AMSVMRGを提案する。非強凸問題に対しては全体の複雑度が$ frac{O}(n + \min\{L/\epsilon, n\sqrt{L/\epsilon}\})$、強凸問題に対しては$ frac{O}(n + \min\{\kappa, n\sqrt{\kappa}\})$を達成し、SAG、SAGA、AGD、Acc-Prox-SVRGよりも収束速度と複雑度で優れており、正則化を必要とせず、凸性の両領域に直接適用可能である。

ABSTRACT

We propose an optimization method for minimizing the finite sums of smooth convex functions. Our method incorporates an accelerated gradient descent (AGD) and a stochastic variance reduction gradient (SVRG) in a mini-batch setting. Unlike SVRG, our method can be directly applied to non-strongly and strongly convex problems. We show that our method achieves a lower overall complexity than the recently proposed methods that supports non-strongly convex problems. Moreover, this method has a fast rate of convergence for strongly convex problems. Our experiments show the effectiveness of our method.

研究の動機と目的

• 既存の確率的分散低減手法が正則化を要するか、強凸問題に限定されるという限界を解消すること。
• 非強凸および強凸の両有限和問題に高速収束を達成できる統一された最適化フレームワークの開発。
• SAG、SAGA、AGD よりも最先端の手法に比べて全体の計算複雑度を低減すること。
• 強凸性の仮定に依存せず、ミニバッチ設定における加速勾配降下法と分散低減を統合すること。
• 機械学習における経験的リスク最小化のための理論的裏付けに基づいた、改善された収束速度と複雑度の境界を持つ手法の提供。

提案手法

• AMSVMRG を提案する。これは、ミニバッチ設定における加速勾配降下法（AGD）と確率的分散低減勾配（SVRG）を組み合わせたマルチステージアルゴリズムである。
• 勾配降下法とミラー降下法のステップからの点の凸結合を用いて収束を加速する。
• ミニバッチのサンプリングにより分散を低減する確率的勾配推定子$v_k$を採用し、$\mathbb{E}[v_k] = \nabla f(x_k)$を満たす。
• 進捗のバウンディングと収束速度の導出に、Bregman発散を用いた新しい解析フレームワークを導入する。
• 参考文献[13]のネステロフ風加速メカニズムをSVRGフレームワークに適応させ、強凸性仮定に依存せずに高速収束を実現する。
• 段階長を動的に決定するリスタートヒューリスティックを用いて、実用的性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強凸性を要件としない分散低減手法が、加速収束速度を達成できるか。
• RQ2 非強凸有限和最小化の最適な複雑度は何か。SAG や SAGA よりも改善可能か。
• RQ3 AGD の加速技術をミニバッチ SVRG フレームワークに効果的に統合できるか。
• RQ4 正則化を必要とせず、非強凸および強凸両領域で高速収束を維持できるか。
• RQ5 提案手法の理論的複雑度は何か。また、既存の最先端手法と比較してどうか。

主な発見

• 非強凸問題に対して、AMSVMRG は全体の複雑度$\tilde{O}(n + \min\{L/\epsilon, n\sqrt{L/\epsilon}\})$を達成し、SAG、SAGA、AGD よりも低い。
• 強凸問題に対しては、複雑度$\tilde{O}(n + \min\{\kappa, n\sqrt{\kappa}\})$を達成し、Acc-Prox-SVRG の最良知られたレートに一致する。
• $L_2$正則化を必要とせず、非強凸問題に直接適用可能であり、モデル選択の困難を回避できる。
• 理論的解析により、期待される最適性ギャップが$\epsilon$に依存するレートで幾何的に減少し、$\epsilon$-精度を達成するには$O(\log(1/\epsilon))$回の外側反復が必要であることが示された。
• 実験により、手法の有効性が確認され、ベースライン手法よりも実際の収束が速いことが示された。
• 反復コストと収束速度の良好なトレードオフを達成しており、$L/\epsilon$が大きい場合に特に有効である。