[论文解读] MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization

Mehrdad Mahdavi, Rong Jin|arXiv (Cornell University)|Jul 26, 2013

Stochastic Gradient Optimization Techniques参考文献 18被引用 11

一句话总结

本文提出 MixedGrad，一种结合随机梯度和完整梯度预言机的优化算法，实现了平滑随机优化中的 O(1/T) 收敛速率——远快于标准 SGD 的 O(1/√T) 速率。通过 O(ln T) 次完整梯度预言机调用和 O(T) 次随机预言机调用，MixedGrad 更有效地利用了平滑性，弥合了随机与完整梯度方法之间的差距。

ABSTRACT

It is well known that the optimal convergence rate for stochastic optimization of smooth functions is $O(1/\sqrt{T})$, which is same as stochastic optimization of Lipschitz continuous convex functions. This is in contrast to optimizing smooth functions using full gradients, which yields a convergence rate of $O(1/T^2)$. In this work, we consider a new setup for optimizing smooth functions, termed as {\bf Mixed Optimization}, which allows to access both a stochastic oracle and a full gradient oracle. Our goal is to significantly improve the convergence rate of stochastic optimization of smooth functions by having an additional small number of accesses to the full gradient oracle. We show that, with an $O(\ln T)$ calls to the full gradient oracle and an $O(T)$ calls to the stochastic oracle, the proposed mixed optimization algorithm is able to achieve an optimization error of $O(1/T)$.

研究动机与目标

• 为解决平滑函数下随机梯度下降（SGD）收敛缓慢的问题，其收敛速率受限于 O(1/√T)，源于梯度方差。
• 探究同时访问随机与完整梯度预言机是否能显著加速平滑优化中的收敛。
• 设计一种实用算法，通过周期性地进行完整梯度评估，更有效地利用损失函数的平滑性，超越标准 SGD。
• 弥合平滑设置下完整梯度方法的 O(1/T) 收敛速率与随机方法的 O(1/√T) 收敛速率之间的差距。

提出的方法

• 提出一种名为“混合优化”的新优化框架，允许交替访问随机预言机（返回采样函数值）和完整梯度预言机（返回整个数据集上的精确梯度）。
• 设计 MixedGrad 算法，交替执行随机梯度步骤与完整梯度更新，利用完整梯度降低方差并加速收敛。
• 采用递归更新规则，将随机梯度与周期性完整梯度校正相结合，以维持低误差增长。
• 使用鞅的 Bernstein 不等式来界定随机梯度与其期望值之间的偏差，从而实现高概率收敛保证。
• 在平滑性假设下分析收敛性，表明当完整梯度调用次数为 O(ln T) 时，误差衰减为 O(1/T)。
• 应用平移不变变换对问题进行重参数化，从而实现对优化路径和误差界更紧密的分析。

实验结果

研究问题

• RQ1 结合随机与完整梯度预言机是否能为平滑函数带来快于标准 SGD 的收敛速率？
• RQ2 为实现最快收敛，完整梯度调用与随机梯度调用之间的最优权衡是什么？
• RQ3 通过利用少量完整梯度评估，是否可能在随机平滑优化中实现 O(1/T) 的收敛速率？
• RQ4 随机梯度中的方差如何限制标准 SGD 的收敛速率，是否可通过周期性完整梯度校正加以缓解？
• RQ5 在平滑且非强凸的设置下，对混合随机-完整梯度算法可建立何种理论保证？

主要发现

• MixedGrad 在平滑随机优化中实现了 O(1/T) 的收敛速率，远快于标准 SGD 的 O(1/√T) 速率。
• 该算法仅需 O(ln T) 次完整梯度预言机调用和 O(T) 次随机预言机调用即可达到此速率。
• 其改进源于通过周期性完整梯度更新降低梯度方差，从而稳定了优化路径。
• 理论分析表明，误差界依赖于最优解的范数和光滑性参数，且通过鞅集中不等式可获得高概率收敛保证。
• 该方法以标准随机方法无法实现的方式，有效利用了平滑性，即使损失函数并非强凸。
• 由于持续存在的梯度方差，纯 SGD 无法实现 O(1/T) 的收敛速率，但当以稀疏方式使用完整梯度信息时，该速率成为可能。