[論文レビュー] An optimal algorithm for stochastic strongly-convex optimization

Elad Hazan, Satyen Kale|arXiv (Cornell University)|Jun 12, 2010

Advanced Bandit Algorithms Research参考文献 1被引用数 17

ひとこと要約

本稿では、非滑らかな目的関数に対する強い凸最適化のための最適な確率的勾配降下法、Epoch-GD を提案する。適応的エポック内で指数的減少する学習率と反復値の平均化を用いることで、$ O(G^2/(λ\varepsilon)) $ 個の勾配更新で $ \varepsilon $-精度に到達する最適収束速度を達成し、この問題クラスの理論的下界と一致する。

ABSTRACT

We consider stochastic convex optimization with a strongly convex (but not necessarily smooth) objective. We give an algorithm which performs only gradient updates with optimal rate of convergence.

研究の動機と目的

• 目的関数が滑らかでない場合の最適な確率的強い凸最適化アルゴリズムのギャップを埋める。
• 高階情報を使わず、勾配更新のみで最適収束速度を達成する手法を設計する。
• $ \varepsilon $-精度への収束を、情報理論的下界と一致する最小の勾配評価回数で達成する。
• マルティンゲール濃度とサブ勾配推定ノイズ下での頑健な解析を用いて、高確率収束保証を提供する。
• 標準的なオンライン学習技術を用いて非ユークリッドノルムへ拡張し、最適性を維持する。

提案手法

• 各エポックで固定された学習率 $ \eta_k = V_k/(4G^2) $ を用いるエポックベース構造を導入し、$ V_k = M/2^{k-1} $ とし、指数的に減少させる。
• 各エポック $ k $ 内で、$ T_k = \lceil 16G^2 / (\lambda V_k) \rceil $ 回、可能集合 $ \mathcal{K} $ への射影を伴う確率的勾配更新を実行する。
• 各エポックの終了時に、そのエポック内のすべての反復値の平均を次回の出発点とする：$ \mathbf{x}_1^{k+1} = \frac{1}{T_k} \sum_{t=1}^{T_k} \mathbf{x}_t^k $。
• 強い凸性を活用して、$ f(\mathbf{x}) - f(\mathbf{x}^*) \geq \lambda \|\mathbf{x} - \mathbf{x}^*\|^2 $ により最適解からの距離をバウンドし、収束解析を厳密化する。
• サブ勾配推定誤差に起因するマルティンゲール差分列を制御するためにアズマの不等式を用いる。
• 帰納法と再帰的バウンドを適用し、$ \lceil \log_2(M/\varepsilon) \rceil $ エポック後に期待される部分最適性 $ \mathbb{E}[f(\mathbf{x}_1^{k+1})] - f(\mathbf{x}^*) \leq \varepsilon $ が成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない強い凸目的関数に対して、勾配情報のみを用いて最適な確率的勾配アルゴリズムを設計できるか？
• RQ2 確率的強い凸最適化において、$ \varepsilon $-精度に到達するための最小勾配更新回数は何か？
• RQ3 サブ勾配推定ノイズと有界ノルムの下で、高確率収束保証をどのように導出できるか？
• RQ4 最適性と収束速度を維持したまま、アルゴリズムを非ユークリッドノルムへ拡張できるか？
• RQ5 最適解の事前知識が得られない状況でも、最適収束を保証する学習率とエポック長スケジューリングは何か？

主な発見

• Epoch-GD アルゴリズムは、$ \lceil \log_2(M/\varepsilon) \rceil $ エポック後に期待される部分最適性 $ \mathbb{E}[f(\mathbf{x}_1^{k+1})] - f(\mathbf{x}^*) \leq \varepsilon $ を達成する。
• 勾配更新の総数は $ O(G^2/(λ\varepsilon)) $ で抑えられ、この問題クラスの情報理論的下界と一致する。
• 高確率 $ 1 - \delta $ で、$ O(G^2 \log(1/\delta)/(λ\varepsilon)) $ 個の勾配更新で $ \varepsilon $-精度に到達する。
• サブ勾配推定に $ L_2 $-有界ノイズ $ \|\hat{\mathbf{g}}_t\| \leq G $ が存在する場合でも、最適性が保たれる。
• エポック単位の平均化と適応的学習率の使用により、滑らかさや強い正則性の仮定を除き、強い凸性のみで収束が保証される。
• 標準的なオンライン学習技術を用いて非ユークリッドノルムへ拡張できるが、最適レートは維持される。