[論文レビュー] Stochastic Three-Composite Convex Minimization

Alp Yurtsever, Bằng Công Vũ+1 more|arXiv (Cornell University)|Jan 31, 2017

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

本稿では、1つの項がリプシッツ連続勾配と制限強凸性を満たす3つの凸関数の和を最小化するための確率的3作用素分割法S3CMを提案する。アルゴリズムは滑らかな項に対して不偏な確率的勾配推定値を用い、残りの2項に対しては近位作用素を適用する。標準的な仮定の下で期待値における収束速度がO(1/n)に達し、決定的3作用素分割法を確率的設定へと拡張する。

ABSTRACT

We propose a stochastic optimization method for the minimization of the sum of three convex functions, one of which has Lipschitz continuous gradient as well as restricted strong convexity. Our approach is most suitable in the setting where it is computationally advantageous to process smooth term in the decomposition with its stochastic gradient estimate and the other two functions separately with their proximal operators, such as doubly regularized empirical risk minimization problems. We prove the convergence characterization of the proposed algorithm in expectation under the standard assumptions for the stochastic gradient estimate of the smooth term. Our method operates in the primal space and can be considered as a stochastic extension of the three-operator splitting method. Numerical evidence supports the effectiveness of our method in real-world problems.

研究の動機と目的

• 滑らかな項のための確率的勾配を扱えるが、非滑らかな項には近位作用素を用いることができる作用素分割法のギャップを埋める。
• 機械学習における二重正則化された経験的リスク最小化に適したスケーラブルでプライマル空間における最適化アルゴリズムを開発すること。
• 標準的な仮定の下で、確率的3複合凸最小化問題に対して期待値における収束保証を提供すること。
• 全勾配計算を回避することで、ストリーミングおよび大規模な設定でも効率的な計算を可能にすること。

提案手法

• 決定的3作用素分割法を拡張し、滑らかな項の正確な勾配を不偏な確率的勾配推定値に置き換える。
• 各反復で、滑らかな関数hの確率的勾配を用いたフォワードステップを実行し、その後にfおよびgの近位作用素を用いた2つのバックワードステップを適用する。
• 制限強凸性の下での収束を保証するため、減少するステップサイズ則γₙ = γ₀/(n+1)を用いる。
• 双対更新を回避し、プライマル空間でのみ動作するため、効率的な実装が可能である。
• fおよびgが扱いやすい近位作用素を備え、hがリプシッツ連続勾配と制限強凸性を満たす問題に適している。
• 収束解析は、確率的勾配の標準的仮定とhの制限強凸性に依存する。

実験結果

リサーチクエスチョン

• RQ1 3作用素分割法の確率的拡張は、3複合凸最小化問題に対してO(1/n)収束を達成できるか？
• RQ2 滑らかな項にのみ不偏な確率的勾配を使用する場合、提案手法は収束を維持するか？
• RQ3 実世界の機械学習問題において、決定的手法と比較して実際の性能はいかがなったか？
• RQ4 制限強凸性と確率的勾配の下で収束を保証する学習率スケジュールは何か？

主な発見

• 提案されたS3CMアルゴリズムは、定理2で示されたように、最適解からの二乗相対距離の期待値においてO(1/n)の収束速度を達成する。
• FF100データセットにおける数値結果から、S3CMはO(1/n)に近い収束率で収束することが示され、理論的解析を支持する。
• 非線形SVM分類において、学習率γₙ = γ₀/(n+1)を用いたS3CMは、十分に大きなγ₀に対してO(1/n)の実験的収束を達成し、制限強凸性仮定と整合的である。
• S3CMは、確率的勾配推定値を用いることで、決定的手法におけるO(d²)の全勾配計算と比較して、1反復あたりのコストをO(d)に削減する。
• 実世界の実験において、計算効率の面で決定的3作用素分割法を上回りながら、収束精度は同等を維持している。