[論文レビュー] Stochastic subGradient Methods with Linear Convergence for Polyhedral Convex Optimization

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|Oct 6, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用数 8

ひとこと要約

この論文は、多面体凸最適化問題（非滑らかで強く凸でないが、上図が多面体である問題）に対して線形収束を達成する、新しい確率的部分勾配法であるリスタート付き確率的勾配降下法（RSGD）を導入する。複数のリスタート戦略を組み込むことで、通常の確率的部分勾配法の典型的な部分線形収束を克服し、このクラスの問題に対して初めて線形収束レートを達成する。

ABSTRACT

In this paper, we show that simple {Stochastic} subGradient Decent methods with multiple Restarting, named {\bf RSGD}, can achieve a extit{linear convergence rate} for a class of non-smooth and non-strongly convex optimization problems where the epigraph of the objective function is a polyhedron, to which we refer as {\bf polyhedral convex optimization}. Its applications in machine learning include $\ell_1$ constrained or regularized piecewise linear loss minimization and submodular function minimization. To the best of our knowledge, this is the first result on the linear convergence rate of stochastic subgradient methods for non-smooth and non-strongly convex optimization problems.

研究の動機と目的

• 非滑らかで強く凸でない設定における確率的部分勾配法の線形収束保証の欠如に対処すること。
• 非滑らかで強く凸でないが、上図が多面体であるという性質を持つ最適化問題のクラスを特定し、このクラスで線形収束が達成可能であることを示すこと。
• このクラスの問題に対して、標準の部分勾配法よりも高速な収束を達成する実用的で理論的根拠のある確率的アルゴリズムを開発すること。
• 確率的部分勾配法の適用範囲を、$ε$-制約付きまたは正則化された区分線形損失最小化やサブモodラ関数最小化といった重要な機械学習問題へ拡張すること。

提案手法

• 反復点を周期的に新しい初期点でリセットする確率的勾配降下法のリスタート版（RSGD）を提案する。
• 徐々に小さくなるステップサイズスケジュールと収束のモニタリングに基づくリスタート戦略を採用する。
• 目的関数の上図の多面体構造を活用することで、各リスタート後に部分勾配法が線形収束することを保証する。
• 目的関数の上図が多面体であるという仮定の下で収束挙動を分析し、幾何的性質を活用可能にする。
• 大規模またはオンライン設定に対応するため、確率的部分勾配オракルを用いることで計算効率を維持する。
• 最適解集合への距離に基づく収束基準を導入し、進行が止まった際にリスタートを発動する。

実験結果

リサーチクエスチョン

• RQ1 確率的部分勾配法は、非滑らかで強く凸でない問題に対しても線形収束を達成できるか？
• RQ2 目的関数にどのような構造的仮定を置けば、確率的部分勾配法の線形収束を保証できるか？
• RQ3 多面体凸最適化において、より高速な収束を実現するリスタート機構を設計可能か？
• RQ4 提案されたRSGD法は、このクラスの問題に対して、標準の確率的部分勾配降下法と比較してどの程度速く収束するか？
• RQ5 この手法は、$ε$-正則化された区分線形損失最小化といった機械学習問題にどのような実用的意味を持つのか？

主な発見

• RSGDは、非滑らかで強く凸でないが、多面体凸最適化問題のクラスに対して線形収束レートを達成する。
• これは、強い凸性や滑らかさが存在しない状況において、確率的部分勾配法の線形収束を保証する最初の知られている結果である。
• この手法は、$ε$-制約付きまたは正則化された区分線形損失最小化といった機械学習問題へ適用可能である。
• リスタートごとに反復回数に対して線形収束レートを達成し、標準の確率的部分勾配法の部分線形レートを著しく上回る。
• リスタート機構により、収束が遅くなるフェーズを回避し、問題の多面体構造を活用する。
• 確率的部分勾配オラクルおよび目的関数の多面体構造に関する標準的仮定のもとで、理論的保証が成立する。