[论文解读] mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting

Jakub Konečný, Jie Liu+2 more|arXiv (Cornell University)|Oct 17, 2014

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出 mS2GD，一种用于最小化强凸复合函数的半随机梯度下降的迷你批量变体，结合方差缩减与迷你批量处理，实现更快的收敛速度。证明了在给定精度下，迷你批量处理可实现梯度评估次数超过线性加速，同时支持高效的并行化。

ABSTRACT

We propose a mini-batching scheme for improving the theoretical complexity and practical performance of semi-stochastic gradient descent applied to the problem of minimizing a strongly convex composite function represented as the sum of an average of a large number of smooth convex functions, and simple nonsmooth convex function. Our method first performs a deterministic step (computation of the gradient of the objective function at the starting point), followed by a large number of stochastic steps. The process is repeated a few times with the last iterate becoming the new starting point. The novelty of our method is in introduction of mini-batching into the computation of stochastic steps. In each step, instead of choosing a single function, we sample $b$ functions, compute their gradients, and compute the direction based on this. We analyze the complexity of the method and show that the method benefits from two speedup effects. First, we prove that as long as $b$ is below a certain threshold, we can reach predefined accuracy with less overall work than without mini-batching. Second, our mini-batching scheme admits a simple parallel implementation, and hence is suitable for further acceleration by parallelization.

研究动机与目标

• 开发 S2GD 算法的迷你批量扩展，以降低大规模优化中的梯度评估成本。
• 分析在近端设置下，迷你批量半随机梯度下降的理论复杂度。
• 证明迷你批量处理在实现目标精度时，可提供超过线性缩放的梯度评估加速。
• 通过设计与高性能计算兼容的迷你批量方案，实现高效的并行实现。

提出的方法

• 该方法在初始点执行确定性梯度计算，随后使用大小为 $b$ 的迷你批量进行多次随机步骤。
• 在每次迭代中，采样 $b$ 个函数，计算其梯度，并利用前一迭代的参考点形成方差缩减的随机梯度。
• 该算法使用近端更新规则：$ y_{k+1} = \operatorname{prox}_{hR}(y_k - h v_k) $，其中 $ v_k $ 是迷你批量的方差缩减梯度估计。
• 步长 $ h $ 和内层循环长度 $ m $ 经优化，以最小化总工作量，同时确保线性收敛。
• 该方法引入了一项新颖的迷你批量方差缩减项 $ \alpha(b) = \frac{n-b}{b(n-1)} $，用于控制梯度估计中的偏差校正。
• 该算法设计为天然可并行化，因为迷你批量中的每个梯度可独立计算。

实验结果

研究问题

• RQ1 在近端设置下，能否有效结合迷你批量处理与方差缩减随机梯度方法，以减少总工作量？
• RQ2 迷你批量处理在实现给定精度时，是否能提供超过线性缩放的梯度评估加速？
• RQ3 该迷你批量变体能否在不牺牲收敛保证的前提下实现高效并行化？
• RQ4 最优步长与内层循环长度如何依赖于迷你批量大小 $ b $？

主要发现

• 只要迷你批量大小 $ b $ 低于某一阈值，该方法在固定精度下可实现梯度评估次数的超线性加速。
• 理论分析表明，收敛率 $ \rho $ 随 $ b $ 增大而减小，且 $ m_*^b $（最优内层循环长度）的减小速度超过 $ 1/b $，表明工作量减少。
• 当 $ b=1 $ 时，收敛率恢复为 Prox-SVRG 的已知速率，验证了该方法与先前工作的内在一致性。
• 最优步长 $ h_*^b $ 推导为 $ \tilde{h}^b = \sqrt{\left(\frac{1+\rho}{\rho\mu}\right)^2 + \frac{1}{4\mu\alpha(b)L}} - \frac{1+\rho}{\rho\mu} $，并满足阈值条件 $ \tilde{h}^b \leq \frac{1}{L} $。
• 在 RCV1 数据集上的实验表明，当 $ b=8 $ 时，mS2GD 达到与 S2GD 相同的精度，但梯度评估次数更少，接近 $ b $ 倍的理想加速效果。
• 该方法支持实际并行化，在高性能计算环境中，理论与实证结果均表明时钟时间显著减少。