[论文解读] History-Gradient Aided Batch Size Adaptation for Variance Reduced Algorithms

Kaiyi Ji, Zhe Wang+4 more|arXiv (Cornell University)|Oct 21, 2019

Stochastic Gradient Optimization Techniques参考文献 42被引用 10

一句话总结

本文提出了一种针对方差缩减优化算法（如 SVRG 和 SPIDER）的新型批量大小自适应方案，该方案基于历史随机梯度的平均幅值动态增加批量大小，从而消除对回溯线搜索的需求。该方法在非凸优化和强化学习中均实现了更优的收敛复杂度与更快的实际性能，具备理论保证与实证验证。

ABSTRACT

Variance-reduced algorithms, although achieve great theoretical performance, can run slowly in practice due to the periodic gradient estimation with a large batch of data. Batch-size adaptation thus arises as a promising approach to accelerate such algorithms. However, existing schemes either apply prescribed batch-size adaption rule or exploit the information along optimization path via additional backtracking and condition verification steps. In this paper, we propose a novel scheme, which eliminates backtracking line search but still exploits the information along optimization path by adapting the batch size via history stochastic gradients. We further theoretically show that such a scheme substantially reduces the overall complexity for popular variance-reduced algorithms SVRG and SARAH/SPIDER for both conventional nonconvex optimization and reinforcement learning problems. To this end, we develop a new convergence analysis framework to handle the dependence of the batch size on history stochastic gradients. Extensive experiments validate the effectiveness of the proposed batch-size adaptation scheme.

研究动机与目标

• 为解决由于周期性大批次梯度估计导致的方差缩减算法实际收敛缓慢的问题。
• 消除现有批量大小自适应方案中回溯线搜索带来的计算开销。
• 开发一种理论基础扎实、易于实现的批量大小自适应方法，利用历史梯度信息。
• 提升非凸优化和强化学习场景下 SVRG、SPIDER 及其策略梯度变体的整体复杂度与收敛速率。

提出的方法

• 在每个外层循环中，将批量大小与前一周期内随机梯度的平均范数成反比进行调整。
• 利用先前迭代的平均梯度范数作为当前梯度幅值的代理，以设定批量大小，无需回溯。
• 提出 AbaSVRG 和 AbaSPIDER 用于非凸优化，以及 AbaSVRPG 和 AbaSPIDER-PG 用于强化学习。
• 构建一种新的收敛性分析框架，考虑批量大小对历史梯度的依赖性，从而实现对目标函数值变化的更紧界。
• 通过历史梯度范数界定每轮迭代中期望函数值的下降量，建立收敛性保证。
• 采用一种新颖的分析技术，不同于以往基于轮次或迭代的下降分析，支持更灵活的参数选择并获得更优的复杂度界。

实验结果

研究问题

• RQ1 基于历史梯度的批量大小自适应是否能在无需回溯的情况下提升方差缩减算法的收敛速度？
• RQ2 基于历史梯度的批量大小自适应如何影响非凸优化中的整体迭代次数与函数评估复杂度？
• RQ3 该方案能否扩展至强化学习中的策略梯度方法，并具备理论收敛保证？
• RQ4 与标准 SVRG 和 SPIDER 相比，所提出的自适应批量大小算法的理论复杂度界是什么？
• RQ5 新的收敛性分析框架如何处理批量大小对过去随机梯度的依赖性？

主要发现

• 所提出的 AbaSVRG 和 AbaSPIDER 算法通过基于历史梯度的批量大小自适应，在非凸优化中实现了更优的收敛复杂度。
• AbaSVRPG 和 AbaSPIDER-PG 算法在强化学习任务中相比基线方差缩减策略梯度方法展现出更快的收敛速度与更优性能。
• 理论分析表明，期望梯度范数在 $\mathcal{O}(1/\epsilon^2 \wedge n/\epsilon)$ 次随机一阶预言机（SFO）调用后被限制在 $\epsilon$ 以内。
• 该方法避免了回溯线搜索，同时保持收敛性保证，降低了算法复杂度。
• 实证结果证实，自适应批量大小方案在优化与强化学习设置中均能加速训练并提升稳定性。
• 新的收敛性分析框架相较于以往方法，为 SVRG 类算法提供了更紧的界与更灵活的参数调优能力。