[论文解读] Accelerate Stochastic Subgradient Method by Leveraging Local Growth Condition

Yi Xu, Qihang Lin+1 more|arXiv (Cornell University)|Jul 4, 2016

Stochastic Gradient Optimization Techniques参考文献 50被引用 10

一句话总结

本文通过在具有非光滑凸目标函数的优化问题中利用局部增长条件，提出了一种加速随机次梯度方法的方法。通过引入正则化目标函数 $ F_{\lambda}(\boldsymbol{w}) = F(\boldsymbol{w}) + \frac{\lambda}{2}\|\boldsymbol{w} - \boldsymbol{w}_*\|^2 $，该方法在局部误差界条件下实现了更快的收敛速度，证明了 $ F(\mathbf{w}_*) = F_{\lambda}(\widetilde{\mathbf{w}}_*) $，从而获得了更紧的收敛性保证并提升了样本效率。

ABSTRACT

In this paper, a new theory is developed for first-order stochastic convex optimization, showing that the global convergence rate is sufficiently quantified by a local growth rate of the objective function in a neighborhood of the optimal solutions. In particular, if the objective function $F(\mathbf w)$ in the $ε$-sublevel set grows as fast as $\|\mathbf w - \mathbf w_*\|_2^{1/θ}$, where $\mathbf w_*$ represents the closest optimal solution to $\mathbf w$ and $θ\in(0,1]$ quantifies the local growth rate, the iteration complexity of first-order stochastic optimization for achieving an $ε$-optimal solution can be $\widetilde O(1/ε^{2(1-θ)})$, which is optimal at most up to a logarithmic factor. To achieve the faster global convergence, we develop two different accelerated stochastic subgradient methods by iteratively solving the original problem approximately in a local region around a historical solution with the size of the local region gradually decreasing as the solution approaches the optimal set. Besides the theoretical improvements, this work also includes new contributions towards making the proposed algorithms practical: (i) we present practical variants of accelerated stochastic subgradient methods that can run without the knowledge of multiplicative growth constant and even the growth rate $θ$; (ii) we consider a broad family of problems in machine learning to demonstrate that the proposed algorithms enjoy faster convergence than traditional stochastic subgradient method. We also characterize the complexity of the proposed algorithms for ensuring the gradient is small without the smoothness assumption.

研究动机与目标

• 改进非光滑凸优化中随机次梯度方法的收敛速率。
• 利用局部增长条件（例如误差界）在标准次梯度方法之外实现更快的收敛速度。
• 在局部误差界下，建立正则化目标函数与最优解之间的理论联系。
• 通过分析 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 与 $ F(\mathbf{w}_*) $ 的关系，推导出更紧的收敛性保证。

提出的方法

• 引入正则化目标函数 $ F_{\lambda}(\mathbf{w}) = F(\mathbf{w}) + \frac{\lambda}{2}\|\mathbf{w} - \mathbf{w}_*\|^2 $，以利用局部曲率和增长条件。
• 将 $ \widetilde{\mathbf{w}}_* \in \widetilde{\mathcal{K}}_* $ 定义为 $ F_{\lambda} $ 的最小化点，将其与真实最小化点 $ \mathbf{w}_* $ 联系起来。
• 利用不等式 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F_{\lambda}(\mathbf{w}) \leq F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \mathbf{w}\|^2 $ 来界定次优性。
• 通过在 $ \widehat{\mathbf{v}} $ 上进行对偶最小化，建立等价关系 $ F(\mathbf{w}_*) = F_{\lambda}(\widetilde{\mathbf{w}}_*) $，证明在局部增长条件下的一致性。
• 利用 $ F_{\lambda} $ 的光滑性推导收敛性质，通过正则化实现加速。

实验结果

研究问题

• RQ1 能否利用局部增长条件在非光滑凸优化中加速随机次梯度方法？
• RQ2 在局部误差界下，通过 $ F_{\lambda} $ 的正则化与真实最优解 $ \mathbf{w}_* $ 有何关系？
• RQ3 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) $ 与 $ F(\mathbf{w}_*) $ 之间存在何种关系？是否可用于收紧收敛性分析？
• RQ4 在局部增长条件下，$ F_{\lambda} $ 的最小化点能否用于恢复或近似真实最小化点 $ \mathbf{w}_* $？

主要发现

• 正则化问题的最优解 $ \widetilde{\mathbf{w}}_* $ 满足 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) = F(\mathbf{w}_*) $，在局部增长条件下证明了其等价性。
• 对所有 $ \mathbf{v}, \mathbf{w} \in \mathcal{K} $，不等式 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F_{\lambda}(\mathbf{w}) \leq F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \mathbf{w}\|^2 $ 成立，从而实现了紧密的次优性界。
• 通过令 $ \mathbf{v} = \mathbf{w} = \mathbf{w}_* $，可得 $ F_{\lambda}(\widetilde{\mathbf{w}}_*) \leq F(\mathbf{w}_*) $，建立了正则化目标函数的上界。
• 定义 $ \widehat{\mathbf{v}} = \arg\min_{\mathbf{v} \in \mathcal{K}} \{ F(\mathbf{v}) + \frac{\lambda}{2}\|\mathbf{v} - \widetilde{\mathbf{w}}_*\|^2 \} $，可得 $ F(\mathbf{w}_*) \leq F_{\lambda}(\widetilde{\mathbf{w}}_*) $，从而完成等式证明。