[论文解读] O(logT) Projections for Stochastic Optimization of Smooth and Strongly Convex Functions

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Apr 2, 2013

Stochastic Gradient Optimization Techniques参考文献 36被引用 10

一句话总结

该论文提出了一种新颖的随机优化算法，通过结合小批量、额外梯度和周期梯度下降技术，仅使用 O(log T) 次投影，即实现了光滑且强凸函数的最优 O(1/T) 收敛速率。该方法在复杂领域（如半正定锥）中显著降低了投影计算成本，同时不牺牲收敛速度。

ABSTRACT

Traditional algorithms for stochastic optimization require projecting the solution at each iteration into a given domain to ensure its feasibility. When facing complex domains, such as positive semi-definite cones, the projection operation can be expensive, leading to a high computational cost per iteration. In this paper, we present a novel algorithm that aims to reduce the number of projections for stochastic optimization. The proposed algorithm combines the strength of several recent developments in stochastic optimization, including mini-batch, extra-gradient, and epoch gradient descent, in order to effectively explore the smoothness and strong convexity. We show, both in expectation and with a high probability, that when the objective function is both smooth and strongly convex, the proposed algorithm achieves the optimal $O(1/T)$ rate of convergence with only $O(\log T)$ projections. Our empirical study verifies the theoretical result.

研究动机与目标

• 减少在复杂领域（如半正定锥）中随机优化的昂贵投影次数。
• 在最小化投影次数的同时，保持光滑且强凸函数的最优 O(1/T) 收敛速率。
• 探究是否 O(log T) 次投影足以在随机优化中实现最优收敛，灵感来源于确定性优化的见解。
• 开发一种结合小批量、额外梯度和周期梯度下降的方法，以利用光滑性和强凸性。
• 通过理论和实证验证，证明所提算法在最小投影次数下实现最优收敛。

提出的方法

• 该算法整合小批量梯度估计以降低随机梯度的方差。
• 采用额外梯度步骤以在非单调设置下提升稳定性和收敛性。
• 使用基于周期的梯度下降并结合自适应步长，以确保在强凸性条件下的收敛性。
• 该方法仅在每个周期开始时执行投影，将总投影次数减少至 O(log T)。
• 理论分析证明了在光滑性和强凸性条件下，期望收敛和高概率收敛均成立。
• 该算法利用批量大小、周期长度和步长之间的相互作用，平衡方差减少与收敛速度。

实验结果

研究问题

• RQ1 在光滑且强凸函数的随机优化中，是否仅使用 O(log T) 次投影即可实现最优的 O(1/T) 收敛速率？
• RQ2 小批量与额外梯度技术能否有效结合，以减少投影频率而不降低收敛性能？
• RQ3 通过利用光滑性和强凸性，是否可能在随机设置中实现类似确定性的收敛速率？
• RQ4 与标准 SGD 和周期梯度下降相比，所提算法在投影效率和收敛速度方面表现如何？
• RQ5 所提理论中的 O(log T) 投影上界是否可在合成问题和真实世界问题上通过实证验证？

主要发现

• 所提算法在期望和高概率下均实现了光滑且强凸函数的最优 O(1/T) 收敛速率。
• 投影次数被减少至 O(log T)，相较于标准 SGD 和周期梯度下降（需 O(T) 次投影）有显著改进。
• 在半正定约束的矩阵优化问题上的实证结果表明，该算法每次投影的代价函数下降速度优于 SGD 和 EP_GD。
• 在距离度量学习任务中，该算法以远少于基线方法的投影次数达到了相近的最优目标值。
• 理论界包含一个 (log log T)^4 项，解释了其收敛速率常数略高于竞争对手的原因。
• 即使在复杂领域（如半正定锥）中，该算法仍能保持 O(1/T) 的收敛速率，而此类领域中的投影计算成本高昂。