[論文レビュー] Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes

Ohad Shamir, Tong Zhang|arXiv (Cornell University)|Dec 8, 2012

Advanced Bandit Algorithms Research参考文献 13被引用数 411

ひとこと要約

この論文は、滑らかさの仮定なしに非滑らかな凸関数および強い凸関数に対する確率的勾配降下法（SGD）の最初の有限標本収束バウンドを確立する。強い凸関数の場合、SGDの最終反復が最適な $Ø(\log T / T)$ のサブ最適性レートを達成することを証明し、最小最大最適レートに一致するシンプルで、リアルタイムに計算可能な多項式減衰平均化スキームを導入する。

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the simplest and most popular stochastic optimization methods. While it has already been theoretically studied for decades, the classical analysis usually required non-trivial smoothness assumptions, which do not apply to many modern applications of SGD with non-smooth objective functions such as support vector machines. In this paper, we investigate the performance of SGD without such smoothness assumptions, as well as a running average scheme to convert the SGD iterates to a solution with optimal optimization accuracy. In this framework, we prove that after T rounds, the suboptimality of the last SGD iterate scales as O(log(T)/\sqrt{T}) for non-smooth convex objective functions, and O(log(T)/T) in the non-smooth strongly convex case. To the best of our knowledge, these are the first bounds of this kind, and almost match the minimax-optimal rates obtainable by appropriate averaging schemes. We also propose a new and simple averaging scheme, which not only attains optimal rates, but can also be easily computed on-the-fly (in contrast, the suffix averaging scheme proposed in Rakhlin et al. (2011) is not as simple to implement). Finally, we provide some experimental illustrations.

研究の動機と目的

• 現代の機械学習で一般的な非滑らかな目的関数（例：ヒンジ損失を伴うSVM）におけるSGDの収束に関する理論的ギャップを埋める。
• 通常の解析で必要とされる滑らかさの仮定なしに、個々のSGD反復（特に最終反復）の性能を分析すること。
• 過去の末尾平均化手法の制限を克服し、リアルタイムに計算可能な実用的で理論的に最適な平均化スキームを提案すること。
• 非滑らか設定におけるSGDのタイトな有限標本収束レートを確立し、既知の最小最大下界に一致させること。

提案手法

• 凸関数に対しては減少するステップサイズ $\eta_t = \Theta(1/\sqrt{t})$、強い凸関数に対しては $\Theta(1/t)$ を用いたSGDを分析する。
• 最終反復 $\mathbf{w}_T$ の期待サブ最適性に関する有限標本バウンドを導出し、強い凸関数の場合に $\mathbb{E}[F(\mathbf{w}_T) - F(\mathbf{w}^*)] = \mathcal{O}(\log T / T)$ であることを示す。
• 多項式減衰平均化スキームを提案：$\mathbf{w}_{\text{avg}} = \sum_{t=1}^T \frac{t^{-\eta}}{\sum_{s=1}^T s^{-\eta}} \mathbf{w}_t$ で $\eta = 3$ とする。これはリアルタイムに計算可能である。
• このスキームが強い凸関数の場合に最小最大最適レートである $\mathcal{O}(1/T)$ の収束レートを達成することを証明する。
• 滑らかさを仮定しないで期待サブ最適性をバウンドするための、ポテンシャル関数とマルティングルの集中に基づく新しい解析フレームワークを用いる。
• 提案スキームをSVM問題において単純平均化と末尾平均化とで実験的に比較し、優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 非滑らかな凸および強い凸関数に対するSGDの最終反復の有限標本収束レートは何か？
• RQ2 非滑らかな強い凸関数設定において、シンプルでリアルタイムに計算可能な平均化スキームが最小最大最適レート $\mathcal{O}(1/T)$ を達成できるか？
• RQ3 非滑らか設定において、SGDの最終反復の性能は平均化スキームに比べて劣っているのか？
• RQ4 勾配のリプシッツ連続性や高階の滑らかさを仮定しないで、SGDの理論的解析を非滑らかな関数に拡張できるか？
• RQ5 強い凸関数の場合に最終反復の $\mathcal{O}(\log T / T)$ レートはタイトか、それ以上に改善可能か？

主な発見

• 非滑らかな強い凸関数に対するSGD最終反復 $\mathbf{w}_T$ の期待サブ最適性は $\mathcal{O}(\log T / T)$ でバウンドされ、これはほぼ最適である。
• 提案された多項式減衰平均化スキームは、強い凸関数の場合に最小最大最適レート $\mathcal{O}(1/T)$ の収束レートを達成する。
• 多項式減衰平均化スキームは、Rakhlinら（2011）の末尾平均化スキームとは異なり、すべての過去の反復を保存せずともリアルタイムに計算可能である。
• 実験結果から、多項式減衰平均化は単純平均化を上回り、複数のデータセットで末尾平均化と同等またはそれを上回るテスト誤差を達成する。
• 解析により、非滑らか設定においてSGDの最終反復が劣っているとされる従来の仮定とは異なり、$\mathcal{O}(\log T / T)$ レートを達成できることを示した。
• 本論文は、勾配の滑らかさの仮定を必要としない非滑らかな関数に対するSGDの最初の有限標本収束バウンドを確立した。