[論文レビュー] Better Mini-Batch Algorithms via Accelerated Gradient Methods

Andrew Cotter, Ohad Shamir+2 more|arXiv (Cornell University)|Jun 22, 2011

Stochastic Gradient Optimization Techniques参考文献 14被引用数 150

ひとこと要約

本稿では、最適損失値 $L(\mathbf{w}^\star)$ に適応することで、標準的なミニバッチ SGD が $L(\mathbf{w}^\star)$ と同程度またはそれ以上の部分最適性である場合に顕著な高速化を達成できないという限界を克服する、新しい加速型ミニバッチ確率的勾配法を提案する。この手法は一貫したより優れた理論的保証を提供し、収束速度および並列スケーラビリティの両面で標準的手法を実際に上回る。

ABSTRACT

Mini-batch algorithms have been proposed as a way to speed-up stochastic convex optimization problems. We study how such algorithms can be improved using accelerated gradient methods. We provide a novel analysis, which shows how standard gradient methods may sometimes be insufficient to obtain a significant speed-up and propose a novel accelerated gradient algorithm, which deals with this deficiency, enjoys a uniformly superior guarantee and works well in practice.

研究の動機と目的

• 標準的なミニバッチ確率的勾配降下法（SGD）が、望ましい部分最適性が最適損失 $L(\mathbf{w}^\star)$ と同程度またはそれ以上である場合に顕著な高速化を達成できないという限界を解消すること。
• $L(\mathbf{w}^\star)$ に暗黙的に適応する新しい加速勾配法を、ミニバッチ設定に特化して開発すること。
• $L(\mathbf{w}^\star)$ に明示的に依存する、加速手法の洗練された理論的分析を提供し、標準的な SGD よりも一貫して優れた収束境界を示すこと。
• 理論的利点を実証的に検証し、実際の性能向上を示す実験を通じて、収束速度とスケーラビリティの両面での優位性を示すこと。

提案手法

• 文献[5]の確率的加速勾配法の新しい変種を提案し、$L(\mathbf{w}^\star)$ に暗黙的に適応するミニバッチ処理に適合させた。
• 現在の反復点と直前の反復点を重み付き平均で結合する修正された降下方向 $\mathbf{w}^{\mathrm{md}}_i$ を用いたモーメンタムベースの更新スキームを導入した。
• ミニバッチ環境における収束性と安定性のバランスを取るために、適応的ステップサイズ $\gamma_i$ とモーメンタムパラメータ $\beta_i$ を採用した。
• 反復点を制約集合内に保つために、集合 $\mathcal{W}$ への射影 $P_{\mathcal{W}}$ を使用した。
• 既存の分析を洗練させるために、$L(\mathbf{w}^\star)$ を重要なパラメータとして組み込んだ、新しい分析フレームワークを用いて収束境界を導出。
• 共役関数 $R^*$ を用いた双対性および強い凸性の議論により、ミニバッチ勾配推定値の期待ノルムをバインドした。

実験結果

リサーチクエスチョン

• RQ1 望ましい部分最適性が最適損失 $L(\mathbf{w}^\star)$ と同程度またはそれ以上である場合、標準的なミニバッチ SGD は顕著な高速化を達成できるか？
• RQ2 特に $L(\mathbf{w}^\star)$ が小さいかゼロであるような状況において、ミニバッチ確率的最適化で意味のある高速化を達成するには加速が必要か？
• RQ3 $L(\mathbf{w}^\star)$ に暗黙的に適応する新しい加速勾配法を設計でき、標準的な SGD よりも一貫して優れた理論的収束保証を提供できるか？
• RQ4 特に並列および分散環境下において、提案手法の性能は標準的な SGD と比べてどのように異なるか？

主な発見

• 望ましい部分最適性が最適損失 $L(\mathbf{w}^\star)$ と同程度またはそれ以上である場合、標準的なミニバッチ SGD は顕著な高速化を達成できない。これは $L(\mathbf{w}^\star) = 0$ である分離可能な場合にも同様に成り立つ。
• 提案された加速手法は、$L(\mathbf{w}^\star)$ に明示的に依存する収束境界を提供し、標準的な SGD よりも一貫して優れた理論的保証を達成する。
• 標準的な SGD がほとんど改善を示さないような状況においても、この加速手法はミニバッチ処理により顕著な高速化を実現する。
• 実験結果により理論的予測が裏付けられ、提案手法は標準的なミニバッチ SGD よりも収束が早く、実際の性能も優れていることが示された。
• 分析により、ミニバッチ勾配推定値の期待ノルムが $\frac{K^2}{b^2}\sum_{t=1}^i \mathbb{E}[\|\mathbf{x}_t\|_*^2]$ で有界であることが示され、収束制御にとって重要である。
• 再帰的境界により、$A(i)$ および $\sum A(i)$ に条件を満たす場合、$a_n \leq eA(n)(a_0(n-m) + \sum_{i=n-m-1}^n B(i)) + B(n)$ が成り立つことが示され、収束の厳密な制御が可能になった。