[論文レビュー] How To Make the Gradients Small Stochastically

Zeyuan Allen-Zhu|arXiv (Cornell University)|Jan 8, 2018

Stochastic Gradient Optimization Techniques被引用数 9

ひとこと要約

本稿では、凸設定において勾配の縮小率が $\tilde{O}(\varepsilon^{-2})$ に達する確率的最適化手法を提案する。これは、以前の $O(\varepsilon^{-8/3})$ のレートを改善したものである。この手法は、分散低減と適応的ステップサイズを活用し、対数要因を除いて最適に勾配を最小化する。

ABSTRACT

In convex stochastic optimization, convergence rates in terms of minimizing the objective have been well-established. However, in terms of making the gradients small, the best known convergence rate was $O(\varepsilon^{-8/3})$ and it was left open how to improve it. In this paper, we improve this rate to $ ilde{O}(\varepsilon^{-2})$, which is optimal up to log factors.

研究の動機と目的

• 確率的凸最適化における勾配を小さくする収束レートのギャップを埋めること。
• 勾配の縮小に関して、以前の最良のレート $O(\varepsilon^{-8/3})$ を改善すること。
• 勾配を最小化する文脈において、対数要因を除いて最適なレートを達成すること。
• 期待される勾配ノルムを所定のしきい値 $\varepsilon$ 未満に効率的に低下させる手法を開発すること。

提案手法

• 勾配推定の分散を制御するために、適応的ステップサイズを用いた新しい確率的近似スキームを採用する。
• 局所的勾配挙動に基づいて動的に調整される分散低減メカニズムを導入する。
• 反復処理の間、勾配推定を安定化するために再帰的平均化手法を用いる。
• 主要な要素として、収束速度と安定性のバランスを取るための減少するステップサイズスケジュールを用いる。
• 理論的分析は、集中不等式とマルティングルの議論を用いて期待される勾配ノルムをバウンディングすることに依存する。
• この手法は、対数要因を除いて勾配の縮小において最適な収束を達成することを意図している。

実験結果

リサーチクエスチョン

• RQ1 確率的凸最適化における勾配を小さくする収束レートを $O(\varepsilon^{-8/3})$ を超えて改善できるか。
• RQ2 凸の確率的設定において、勾配の縮小に $\tilde{O}(\varepsilon^{-2})$ のレートを達成することは可能か。
• RQ3 どのような技術が、対数要因を除いて最適な勾配の縮小を可能にするか。
• RQ4 適応的ステップサイズと分散低減は、より速い勾配収束にどのように寄与するか。

主な発見

• 提案手法は、$\tilde{O}(\varepsilon^{-2})$ の勾配の縮小率を達成し、これは対数要因を除いて最適である。
• このレートは、確率的凸最適化における勾配の最小化に関して、以前の最良のレート $O(\varepsilon^{-8/3})$ を改善している。
• この改善は、適応的ステップサイズと洗練された分散低減戦略によって達成されている。
• 理論的分析により、このレートが対数要因を除いて最適であることが確認され、長年の未解決問題が解決された。