[論文レビュー] Accelerate Stochastic Subgradient Method by Leveraging Local Growth Condition

Yi Xu, Qihang Lin+1 more|arXiv (Cornell University)|Jul 4, 2016

Stochastic Gradient Optimization Techniques参考文献 50被引用数 10

ひとこと要約

本稿では、非滑らかで凸な目的関数を伴う最適化問題において、局所的成長条件を活用することで確率的部分勾配法を加速する手法を提案する。正則化された目的関数 $ F_{\lambda}(\boldsymbol{w}) = F(\boldsymbol{w}) + \frac{\lambda}{2}\|\boldsymbol{w} - \boldsymbol{w}_*\|^2 $ を導入することで、局所的誤差境界下でより速い収束が達成され、$ F(\mathbf{w}_*) = F_{\lambda}(\widetilde{\mathbf{w}}_*) $ が証明され、収束保証を厳密にし、サンプル効率を向上させる。

ABSTRACT

In this paper, a new theory is developed for first-order stochastic convex optimization, showing that the global convergence rate is sufficiently quantified by a local growth rate of the objective function in a neighborhood of the optimal solutions. In particular, if the objective function $F(\mathbf w)$ in the $ε$-sublevel set grows as fast as $\|\mathbf w - \mathbf w_*\|_2^{1/θ}$, where $\mathbf w_*$ represents the closest optimal solution to $\mathbf w$ and $θ\in(0,1]$ quantifies the local growth rate, the iteration complexity of first-order stochastic optimization for achieving an $ε$-optimal solution can be $\widetilde O(1/ε^{2(1-θ)})$, which is optimal at most up to a logarithmic factor. To achieve the faster global convergence, we develop two different accelerated stochastic subgradient methods by iteratively solving the original problem approximately in a local region around a historical solution with the size of the local region gradually decreasing as the solution approaches the optimal set. Besides the theoretical improvements, this work also includes new contributions towards making the proposed algorithms practical: (i) we present practical variants of accelerated stochastic subgradient methods that can run without the knowledge of multiplicative growth constant and even the growth rate $θ$; (ii) we consider a broad family of problems in machine learning to demonstrate that the proposed algorithms enjoy faster convergence than traditional stochastic subgradient method. We also characterize the complexity of the proposed algorithms for ensuring the gradient is small without the smoothness assumption.

研究の動機と目的

• 非滑らか凸最適化における確率的部分勾配法の収束速度の向上を目的とする。
• 誤差境界などの局所的成長条件を活用し、標準的な部分勾配法を上回る収束を加速することを目的とする。
• 局所的誤差境界下で正則化された目的関数と最適解の理論的関係を確立することを目的とする。
• $ F_{\lambda}(\widetilde{\mathbf{w}}_*) $ と $ F(\mathbf{w}_*) $ の関係を分析することで、収束解析をより厳密にすることを目的とする。

提案手法

• 局所的な曲率と成長条件を活用するため、正則化された目的関数 $ F_{\lambda}(\mathbf{w}) = F(\mathbf{w}) + \frac{\lambda}{2}\|\mathbf{w} - \mathbf{w}_*\|^2 $ を導入する。
• $ \widetilde{\mathbf{w}}_* \in \widetilde{\mathcal{K}}_* $ を $ F_{\lambda} $ の最小化点として定義し、真の最小化点 $ \mathbf{w}_* $ と関連付ける。
• 不等式 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F_{\lambda}(\mathbf{w}) \leq F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \mathbf{w}\|^2 $ を用いて、部分最適性を評価する。
• 双対最小化による $ \widehat{\mathbf{v}} $ を用いて、$ F(\mathbf{w}_*) = F_{\lambda}(\widetilde{\mathbf{w}}_*) $ の同値性を確立し、局所的成長下での一貫性を証明する。
• 正則化された関数 $ F_{\lambda} $ の滑らかさを活用して収束性を導出し、正則化による加速を可能にする。

実験結果

リサーチクエスチョン

• RQ1 局所的成長条件は、非滑らか凸最適化における確率的部分勾配法の加速に利用可能か？
• RQ2 局所的誤差境界下で、$ F_{\lambda} $ による正則化は真の最適解 $ \mathbf{w}_* $ とどのように関連するか？
• RQ3 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) $ と $ F(\mathbf{w}_*) $ の関係は何か？ また、収束解析の厳密化に利用可能か？
• RQ4 局所的成長下で、$ F_{\lambda} $ の最小化点を用いて真の最小化点 $ \mathbf{w}_* $ を回復または近似可能か？

主な発見

• 正則化問題の最適解 $ \widetilde{\mathbf{w}}_* $ は $ F_{\lambda}(\widetilde{\mathbf{w}}_*) = F(\mathbf{w}_*) $ を満たし、局所的成長下で同値性が保証される。
• すべての $ \mathbf{v}, \mathbf{w} \in \mathcal{K} $ に対して不等式 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F_{\lambda}(\mathbf{w}) \leq F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \mathbf{w}\|^2 $ が成り立ち、部分最適性の厳密な境界が得られる。
• $ \mathbf{v} = \mathbf{w} = \mathbf{w}_* $ と置くことで、$ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F(\mathbf{w}_*) $ が示され、正則化された目的関数の上界が確立される。
• $ \widehat{\mathbf{v}} = \arg\min_{\mathbf{v} \in \mathcal{K}} \{ F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \widetilde{\mathbf{w}}_*\|^2 \} $ を定義すると、$ F(\mathbf{w}_*) \leq F_{\lambda}(\widetilde{\mathbf{w}}_*) $ が得られ、等式が完全に成立する。