[論文レビュー] RSG: Beating SGD without Smoothness and/or Strong Convexity

Tianbao Yang, Qihang Lin|arXiv (Cornell University)|Dec 9, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、局所的性質（局所的半強い凸性や(Kurdyka-) Łojasiewicz性質など）を活用することで、非滑らかかつ/または強く凸でない最適化において、通常のSGDよりも改善された反復複雑度を達成するRestarted Stochastic Subgradient (RSG)手法を導入する。局所的半強い凸性の下では$O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$の複雑度を達成し、$\beta$-乗数 Łojasiewicz 条件の下では$O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$の複雑度を達成する。これらはSGDの$O(\frac{1}{\epsilon^2})$のレートを上回る。

ABSTRACT

In this paper, we propose a novel {\bf R}estarted {\bf S}tochastic sub{\bf G}radient (RSG) method that can find an $\epsilon$-optimal solution for a broad class of non-smooth and/or non-strongly convex optimization problems with a lower iteration complexity than vanilla stochastic subgradient descent (SGD). In particular, for general non-smooth and non-strongly convex optimization, RSG reduces the dependence of SGD's iteration complexity on the distance to the optimal set of the initial solution to that of points on the $\epsilon$-level set. For a special family of non-smooth and non-strongly convex optimization problems whose epigraph is a polyhedron, we further show that RSG could converge linearly. In addition, RSG has an $O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$ iteration complexity for problems with a much weaker notion of strong convexity, namely locally semi-strongly convexity. For a family of (non-) smooth optimization problems that admit a local (Kurdyka-) \L ojasiewicz property with a power constant of $\beta\in(0,1)$, RSG has an $O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$ iteration complexity, which is better that that of SGD for such optimization problems whose iteration complexity is $O(\frac{1}{\epsilon^2})$. The novelty of our analysis lies at exploiting the lower bound of the subgradient or gradient of the objective function at the $\epsilon$-level set. It is this novelty that allows us to explore the local properties of functions (e.g., local semi-strong convexity, local (Kurdyka-) \L ojasiewicz property, more generally local error bounds) to develop improved convergence of RSG.

研究の動機と目的

• 非滑らかかつ/または強く凸でない設定における確率的部分勾配降下法(SGD)の高い反復複雑度に対処すること。
• ε-レベル集合の性質を活用することで、最適集合への初期距離に依存する部分を低減すること。
• 弱い凸性または誤差バインディング構造を持つ問題に対して、SGDよりも速い収束レートを達成すること。
• 部分勾配の下界をε-レベル集合上でとらえることで、反復複雑度の上限を改善すること。

提案手法

• 反復的再起動を組み込んだ、Restarted Stochastic Subgradient (RSG)手法を提案する。
• ε-レベル集合内の点における部分勾配の下界に基づく、新しい解析手法を用いる。
• 現在の反復点がε-レベル集合に入ると再起動を実行し、目的関数の局所的正則性を活用する。
• 局所的誤差バインディング、特に$\beta \in (0,1)$のべき乗定数を有する(Kurdyka-) Łojasiewicz性質を用いて、改善された収束レートを導出する。
• 目的関数の局所幾何構造に依存する反復複雑度の上限を導出する。
• 滑らかでなく強く凸でもない問題に一般化された収束保証のフレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかかつ強く凸でない問題において、確率的部分勾配法がSGDよりも優れた反復複雑度を達成できるか？
• RQ2 RSG手法は、局所的半強い凸性といった局所的性質をどのように活用して収束を改善するか？
• RQ3 べき乗定数$\beta \in (0,1)$を有する(Kurdyka-) Łojasiewicz条件の下で、RSGの反復複雑度はどのようになるか？
• RQ4 epigraphが多面体である問題のクラスに対して、RSGは線形収束を達成できるか？
• RQ5 RSGにおける最適集合への初期距離への依存度は、通常のSGDと比べてどのように異なるか？

主な発見

• RSGは、ε-レベル集合上の点からの距離に依存するように、反復複雑度の初期距離への依存度を低減する。
• 多面体的epigraphを持つ問題では、滑らかでなく強く凸でもないにもかかわらず、RSGは線形収束を達成する。
• 局所的半強く凸な条件下では、RSGは$O(\frac{1}{\epsilon}\log(\frac{1}{\epsilon}))$の反復複雑度を達成し、SGDの$O(\frac{1}{\epsilon^2})$レートを上回る。
• β-乗数(Kurdyka-) Łojasiewicz条件を満たす問題では、RSGは$O(\frac{1}{\epsilon^{2\beta}}\log(\frac{1}{\epsilon}))$の反復複雑度を達成し、$\beta < 1/2$のときSGDの$O(\frac{1}{\epsilon^2})$より速い。
• 主なイノベーションは、ε-レベル集合における部分勾配の下界を用いて局所関数幾何を活用し、よりタイトな収束上限を導出することにある。