[论文解读] Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization

Saeed Ghadimi, Guanghui Lan+1 more|arXiv (Cornell University)|Aug 29, 2013

Stochastic Gradient Optimization Techniques参考文献 26被引用 11

一句话总结

该论文提出了一种基于小批量采样的随机投影梯度（RSPG）算法，用于非凸随机复合优化，采用通用距离函数以利用约束集的几何结构。该工作建立了近乎最优的迭代复杂度，并引入了两阶段后优化阶段，显著降低了解的方差，尤其在轻尾噪声下表现优异，且在非凸问题（包括半监督学习）上获得了理论与实证验证。

ABSTRACT

This paper considers a class of constrained stochastic composite optimization problems whose objective function is given by the summation of a differentiable (possibly nonconvex) component, together with a certain non-differentiable (but convex) component. In order to solve these problems, we propose a randomized stochastic projected gradient (RSPG) algorithm, in which proper mini-batch of samples are taken at each iteration depending on the total budget of stochastic samples allowed. The RSPG algorithm also employs a general distance function to allow taking advantage of the geometry of the feasible region. Complexity of this algorithm is established in a unified setting, which shows nearly optimal complexity of the algorithm for convex stochastic programming. A post-optimization phase is also proposed to significantly reduce the variance of the solutions returned by the algorithm. In addition, based on the RSPG algorithm, a stochastic gradient free algorithm, which only uses the stochastic zeroth-order information, has been also discussed. Some preliminary numerical results are also provided.

研究动机与目标

• 为解决非凸随机复合优化问题中缺乏高效随机算法的问题。
• 开发一种小批量随机投影梯度方法，通过通用距离函数自适应地匹配可行集的几何结构。
• 在统一框架下，为凸与非凸情形建立近乎最优的迭代复杂度边界。
• 通过两阶段后优化阶段显著降低解的方差，尤其在轻尾噪声假设下。
• 将该框架扩展至仅使用函数评估的零阶随机优化。

提出的方法

• 提出RSPG算法，通过在每次迭代中使用小批量随机梯度以降低方差并提升收敛性。
• 采用通用距离函数（如Bregman散度）定义投影步骤，实现对约束集X的几何自适应。
• 引入两阶段RSPG（2-RSPG）算法，通过后优化阶段从轨迹中选择解以减少方差。
• 在标准假设下分析算法：随机梯度方差有界，且f的梯度Lipschitz连续。
• 推导出达到期望ϵ-解或高概率ϵ-解所需随机第一阶 oracle（SFO）调用次数的复杂度边界。
• 提出RSPG的零阶变体，仅使用函数评估，适用于无法获取梯度的问题。

实验结果

研究问题

• RQ1 小批量随机投影梯度方法能否在非凸随机复合问题中实现近乎最优的复杂度？
• RQ2 使用通用距离函数如何改善约束非凸随机优化中的收敛性？
• RQ3 与标准RSPG相比，两阶段后优化阶段能否显著降低解的方差？
• RQ4 所提算法在达到ϵ-解时，其理论复杂度（以随机预言机调用次数衡量）是多少？
• RQ5 该框架能否扩展至仅使用函数评估的零阶随机优化？

主要发现

• RSPG算法在期望下达到ϵ-解的复杂度为O(σ²/ε²)，与凸问题的最优率一致。
• 2-RSPG算法显著降低了方差，其中2-RSPG-V变体在数值实验中表现出最低方差，尤其在轻尾噪声下。
• 在半监督SVM问题中，2-RSPG-V的投影梯度范数为0.0339（n=1000，25k个样本），显著低于RSPG的0.1007。
• 2-RSPG-V在收敛时的平均目标值为0.9351（n=1000），优于RSPG（0.9513）和2-RSPG（0.9719）。
• 两阶段后优化阶段提升了大偏差情况下的性能，以O(log(1/Λ)σ²/ε²)的复杂度实现高概率（1−Λ）解。
• RSPG的零阶变体在仅能获取函数评估的问题中表现有效，将框架扩展至无导数设置。