[論文レビュー] Stochastic Smoothing for Nonsmooth Minimizations: Accelerating SGD by Exploiting Structure

Hua Ouyang, Alexander Gray|arXiv (Cornell University)|May 21, 2012

Stochastic Gradient Optimization Techniques参考文献 25被引用数 16

ひとこと要約

本稿では、ヒンジ損失、絶対損失、ε-インセンティブ損失などの非滑らか凸損失関数が示す構造的性質を活用することで、強い凸問題において最適な O(1/t) 収束レートを達成する、非滑らか凸最適化のための新規な確率的1次順序アルゴリズムである加速非滑らか確率的勾配降下法（ANSGD）を提案する。確率的滑らか化と加速勾配法を組み合わせることで、理論的および実用的両面で古典的SGDおよび部分勾配法を凌駆する。

ABSTRACT

In this work we consider the stochastic minimization of nonsmooth convex loss functions, a central problem in machine learning. We propose a novel algorithm called Accelerated Nonsmooth Stochastic Gradient Descent (ANSGD), which exploits the structure of common nonsmooth loss functions to achieve optimal convergence rates for a class of problems including SVMs. It is the first stochastic algorithm that can achieve the optimal O(1/t) rate for minimizing nonsmooth loss functions (with strong convexity). The fast rates are confirmed by empirical comparisons, in which ANSGD significantly outperforms previous subgradient descent algorithms including SGD.

研究の動機と目的

• 機械学習で一般的に見られる非滑らか凸損失関数の確率的最小化において、高速な収束を達成する課題に対処すること。
• ポリャクの平均化に依存せずに、強い凸で非滑らかな問題に対して最適な O(1/t) 収束レートを達成する1次順序確率的アルゴリズムを開発すること。
• 一般的な非滑らか損失関数（例：ヒンジ損失、絶対損失）の構造的性質を活用して、より効率的な最適化手法を設計すること。
• ネステロフの決定的滑らか化法を確率的設定に拡張し、オンラインおよびインクリメンタル学習における加速収束を可能にすること。

提案手法

• 非滑らか損失関数を滑らか化した近似関数で置き換える確率的滑らか化技術を提案し、最適勾配法の適用を可能にする。
• 確率的複合最適化の枠組みにおいて、確率的滑らか化と加速勾配降下法を統合したハイブリッド手法であるANSGDを導入する。
• Bregman発散と適応的ステップサイズ ηt を用いたproximalに類似した更新則を採用し、目的関数の非滑らか成分を処理する。
• 収束を加速するために、ステップサイズの減少列 γt = 2/(t+1) とモーメンタムに類似したパラメータ αt = 2/(t+1) を用いる。
• リャプノフ関数のアプローチを用いて収束境界を導出し、滑らかさ、分散、問題構造の観点から、期待される最適性ギャップ E[Φ(xt) - Φ(x*)] を分析する。
• テレスコピング和と D_U, L_g, σ²/μ を含む再帰的不等式を用いた誤差項のバウンディングにより、理論的収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかで強い凸関数を最小化するための確率的1次順序アルゴリズムは、最適な O(1/t) 収束レートを達成できるか？
• RQ2 一般的な非滑らか損失関数（例：ヒンジ損失、絶対損失）の構造的性質を活用して、より高速な確率的最適化アルゴリズムを設計できるか？
• RQ3 ANSGDは、収束速度およびロバスト性の観点から、古典的SGDおよび部分勾配法と比べてどのように異なるか？
• RQ4 ネステロフの決定的滑らか化法は、最適な収束保証を伴う確率的設定に成功裏に拡張可能か？

主な発見

• ANSGDは、確率的設定下で非滑らかで強い凸関数を最小化する際に、最適な O(1/t) 収束レートを達成し、収束が O(ln t / t) にしかならない古典的SGDを凌駆する。
• 本手法は、ポリャクの平均化を必要とせず、O(1/t) 収束を達成する最初の確率的1次順序手法である。ポリャクの平均化は、O(ln t / t) に留まることが多く、レートの向上に寄与しない。
• 実世界のデータセットを用いた実験的評価により、ANSGDは最先端の部分勾配法およびSGD法よりも著しく高速に収束することが示された。
• 理論的分析により、誤差バウンディングが問題の条件数、滑らかさ（L_g）、勾配分散（σ²/μ）に依存する O(1/t) に比例することが確認された。
• 滑らか化パラメータの選択に強く依存せず、非滑らか関数が可分性や単純なproximal構造を持たない場合でも、最適な計算複雑性を維持する。
• 特に逐次計算環境において、並列的確率的滑らか化手法と比較して、より優れた境界を達成する。