[论文解读] Faster Stochastic Algorithms via History-Gradient Aided Batch Size Adaptation

Kaiyi Ji, Zhe Wang+2 more|arXiv (Cornell University)|Oct 21, 2019

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出了 AbaSGD、AbaSVRG 和 AbaSPIDER——三种基于历史随机梯度自适应调整批量大小的随机优化算法，实现无需回溯的更快收敛。该方法在收敛复杂度和优化景观适应性方面表现更优，在实验中优于原始方法及现有的自适应批量大小方法。

ABSTRACT

Various schemes for adapting batch size have been recently proposed to accelerate stochastic algorithms. However, existing schemes either apply prescribed batch size adaption or require additional backtracking and condition verification steps to exploit the information along optimization path. In this paper, we propose an easy-to-implement scheme for adapting batch size by exploiting history stochastic gradients, based on which we propose the Adaptive batch size SGD (AbaSGD), AbaSVRG, and AbaSPIDER algorithms. To handle the dependence of the batch size on history stochastic gradients, we develop a new convergence analysis technique, and show that these algorithms achieve improved overall complexity over their vanilla counterparts. Moreover, their convergence rates are adaptive to the optimization landscape that the iterate experiences. Extensive experiments demonstrate that our algorithms substantially outperform existing competitive algorithms.

研究动机与目标

• 解决随机优化中固定或基于回溯的批量大小自适应方法的局限性。
• 设计一种利用历史随机梯度指导批量大小自适应的方法，无需额外的条件检查。
• 实现更优的收敛复杂度，并增强对局部优化景观的适应性。
• 设计易于实现且在实验中优于现有竞争方法的算法。

提出的方法

• 提出一种新颖的批量大小自适应规则，利用历史随机梯度的范数作为曲率信息的代理。
• 通过将基于历史梯度的批量大小规则集成到标准随机算法中，设计 AbaSGD、AbaSVRG 和 AbaSPIDER。
• 开发一种新的收敛性分析技术，以处理批量大小对历史梯度依赖性的影响。
• 确保当梯度历史显示曲率较低时批量大小增加，曲率较高时批量大小减小，从而在方差控制与优化进度之间取得平衡。
• 利用随机梯度的历史信息，以反映局部优化景观的方式动态调整批量大小。
• 通过避免其他自适应方案中通常需要的回溯或线搜索步骤，保持计算效率。

实验结果

研究问题

• RQ1 能否通过利用历史随机梯度信息而非依赖回溯或固定调度，使批量大小自适应更加高效？
• RQ2 如何对批量大小对历史梯度的依赖性进行形式化分析，以确保收敛性？
• RQ3 所提方法能否在整体收敛复杂度上优于原始方法及现有自适应批量大小算法？
• RQ4 收敛速率在多大程度上能适应优化景观的局部曲率？
• RQ5 所提方法在实际优化任务中是否保持了实用效率，并优于最先进基线方法？

主要发现

• 所提出的 AbaSGD、AbaSVRG 和 AbaSPIDER 算法相较于其原始版本，实现了更优的整体收敛复杂度。
• 所提算法的收敛速率能自适应地响应迭代过程中遇到的局部优化景观。
• 在广泛的实验评估中，这些算法优于现有竞争方法。
• 新的收敛性分析技术成功处理了批量大小对历史梯度的依赖性，从而提供了理论保证。
• 该方法在无需回溯或额外条件验证步骤的情况下实现了更快收敛。
• 批量大小自适应机制通过追踪历史梯度范数，有效平衡了方差减少与优化进度。