[論文レビュー] A simpler approach to obtaining an O(1/t) convergence rate for the projected stochastic subgradient method

Simon Lacoste-Julien, Mark Schmidt+1 more|arXiv (Cornell University)|Dec 10, 2012

Stochastic Gradient Optimization Techniques参考文献 10被引用数 152

ひとこと要約

本稿では、強い凸関数に対してO(1/t)収束率を達成する、投影確率的部分勾配法の簡素化された重み付き平均化手法を提示する。各反復点w_tに対して時間に依存する重み(t+1)を用い、平均の更新にρ_t = 2/(t+2)を用いることで、従来の手法と比較してはるかに単純な証明と実装で最適なO(1/t)収束を保証する。

ABSTRACT

In this note, we present a new averaging technique for the projected stochastic subgradient method. By using a weighted average with a weight of t+1 for each iterate w_t at iteration t, we obtain the convergence rate of O(1/t) with both an easy proof and an easy implementation. The new scheme is compared empirically to existing techniques, with similar performance behavior.

研究の動機と目的

• 強い凸な目的関数に対して、投影確率的部分勾配法の解析と実装を単純化しつつ、最適なO(1/t)収束率を維持すること。
• 複雑な平均化スキームに代えて、各反復点w_tに時間tにおける増加する重み(t+1)を割り当てる重み付き平均を導入すること。
• 特に非滑らかで強い凸な問題に対して、従来の手法よりもタイトな収束率とより単純な証明を達成すること。
• 新しいスキームが標準的な平均化と同等またはそれ以上の経験的性能を示し、オンライン実装が簡素化されることを示すこと。

提案手法

• 最小値推定に向け、w_tの重み付き平均w̄_T = (2/(T+1)(T+2)) * Σ_{t=0}^{T} (t+1) w_tを用いる。
• オンライン計算を可能にするために、w̄_t = (1 - ρ_t) w̄_{t-1} + ρ_t w_t（ρ_t = 2/(t+2)）により平均を逐次更新する。
• ステップサイズとしてγ_t = 2/(μ(t+1))を用い、古典的な1/(μt)よりも大きい値を採用することで収束速度を向上させる。
• 強凸性と有限分散の仮定を用いて、t * [𝔼f(w_{t-1}) - f(w*)] のテレスコピック和を用いた収束証明を行う。
• 複雑なマルティングルや集中不等式を避けて、基本的な不等式とノルム期待値のミンコフスキーの不等式に依拠する。
• SVMに類似する問題に対して経験的に検証し、実装が簡素化されている一方で、従来の手法と同等の性能を示した。

実験結果

リサーチクエスチョン

• RQ1 強い凸で非滑らかな場合に、より単純な平均化スキームが、投影確率的部分勾配法に対してO(1/t)収束率を達成できるか？
• RQ2 各反復点w_tに時間依存重み(t+1)を割り当てる重み付き平均は、一様平均と比較してよりタイトで、証明が容易な収束率をもたらすか？
• RQ3 特に非滑らかな目的関数に対して、収束率や定数のタイトさを損なわず、証明を単純化できるか？
• RQ4 経験的に、提案スキームは標準的平均化や他の重み付きスキームと比較して、収束速度と安定性の面でどのように差がつくか？

主な発見

• 提案された重み付き平均は、期待される目的関数ギャップに対してO(1/t)収束率を達成し、一様平均の古典的O((log t)/t)よりも優れている。
• 𝔼‖w_T - w*‖² ≤ 4B²/(μ²(T+1))が保証され、これはO(1/T)であり、従来の手法よりもタイトな定数を有する。
• ρ_t = 2/(t+2)を用いた単純なオンライン更新ルールにより、計算効率が高く、実装が容易な収束率が達成される。
• 証明は従来の研究と比較して著しく単純化されており、複雑なマルティングルや集中境界を避けており、基本的な不等式とテレスコピック和に依拠する。
• 経験的結果は、既存の手法と同等の性能を示しており、簡素化が実用的効果を損なわないことを確認している。
• 本手法は、部分勾配の不偏性と有限分散の標準的仮定の下で、SVM や構造化予測を含む広範な問題に適用可能である。