[论文解读] Accelerate Stochastic Subgradient Method by Leveraging Local Error Bound.

Yi Xu, Qihang Lin+1 more|arXiv (Cornell University)|Jul 4, 2016

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文通过利用局部误差界条件，提出两种加速的随机次梯度方法，用于非强凸优化。通过自适应地缩小围绕历史解的局部区域（通过显式球约束或隐式正则化），该方法在高概率下实现了改进的迭代复杂度，且对初始距离到最优集的依赖呈对数关系，尤其在ℓ₁-正则化多面体损失问题中，实现了对数复杂度。

ABSTRACT

In this paper, we propose two accelerated stochastic {\bf subgradient} methods for stochastic non-strongly convex optimization problems by leveraging a generic local error bound condition. The novelty of the proposed methods lies at smartly leveraging the recent historical solution to tackle the variance in the stochastic subgradient. The key idea of both methods is to iteratively solve the original problem approximately in a local region around a recent historical solution with size of the local region gradually decreasing as the solution approaches the optimal set. The difference of the two methods lies at how to construct the local region. The first method uses an explicit ball constraint and the second method uses an implicit regularization approach. For both methods, we establish the improved iteration complexity in a high probability for achieving an $\epsilon$-optimal solution. Besides the improved order of iteration complexity with a high probability, the proposed algorithms also enjoy a logarithmic dependence on the distance of the initial solution to the optimal set. When applied to the $\ell_1$ regularized polyhedral loss minimization (e.g., hinge loss, absolute loss), the proposed stochastic methods have a logarithmic iteration complexity.

研究动机与目标

• 解决随机次梯度方法在非强凸设置下收敛缓慢的问题。
• 提高在高概率下达到ε-最优解的迭代复杂度。
• 利用局部误差界条件加速收敛，而无需强凸性假设。
• 实现对初始距离到最优集的对数依赖。
• 有效应用于ℓ₁-正则化多面体损失最小化问题。

提出的方法

• 该方法在围绕近期历史解的不断缩小的局部区域内，近似求解原始问题。
• 局部区域通过显式球约束或通过正则化隐式定义，以适应局部误差界结构。
• 随着解趋近最优集，局部区域的大小随时间减小，从而增强方差减少效果。
• 算法使用随机次梯度，但通过聚焦于过去解附近的局部近似来减少方差。
• 理论分析建立了在高概率下的收敛性，并获得了改进的迭代复杂度界。
• 该方法在ℓ₁-正则化问题（如合页损失或绝对损失）的多面体损失中特别有效。

实验结果

研究问题

• RQ1 是否可以利用局部误差界条件来加速非强凸设置下的随机次梯度方法？
• RQ2 显式球约束与隐式正则化的选择如何影响收敛性能？
• RQ3 在使用局部误差界假设时，其结果迭代复杂度如何？
• RQ4 该方法是否实现了对初始距离到最优集的对数依赖？
• RQ5 所提出的方法是否能在ℓ₁-正则化多面体损失最小化中实现改进的复杂度？

主要发现

• 所提方法在非强凸随机优化中，实现了ε-最优性在高概率下的改进迭代复杂度。
• 迭代复杂度对初始距离到最优集呈对数依赖，从而在接近解时显著提升收敛速度。
• 对于ℓ₁-正则化多面体损失最小化问题，方法实现了对数迭代复杂度，相较于标准方法有显著改进。
• 利用局部误差界条件可通过局部子问题近似实现方差减少。
• 显式与隐式两种定义局部区域的方法均能提供相近的收敛保证与改进的复杂度。
• 理论分析在局部误差界假设较弱的前提下，确认了高概率收敛。