[论文解读] Convergence of Variance-Reduced Stochastic Learning under Random Reshuffling.

Bicheng Ying, Kun Yuan+1 more|arXiv (Cornell University)|Aug 4, 2017

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文首次为随机重排（random reshuffling）设置下的SAGA算法提供了线性收敛的理论证明，这是一种在实践中能提升性能的常见启发式方法。此外，论文提出了一种名为AVRG的新方差缩减算法，其具有恒定存储需求和均衡的梯度计算，同样实现线性收敛，为现有方法提供了一种实用且高效的替代方案。

ABSTRACT

Several useful variance-reduced stochastic gradient algorithms, such as SVRG, SAGA, Finito, and SAG, have been proposed to minimize empirical risks with linear convergence properties to the exact minimizers. The existing convergence results assume uniform data sampling with replacement. However, it has been observed that random reshuffling can deliver superior performance. No formal proofs or guarantees of exact convergence exist for variance-reduced algorithms under random reshuffling. This paper resolves this open convergence issue and provides the first theoretical guarantee of linear convergence under random reshuffling for SAGA; the argument is also adaptable to other variance-reduced algorithms. Under random reshuffling, the paper further proposes a new amortized variance-reduced gradient (AVRG) algorithm with constant storage requirements compared to SAGA and with balanced gradient computations compared to SVRG. The balancing in computations are attained by amortizing the full gradient calculation across all iterations. AVRG is also shown analytically to converge linearly.

研究动机与目标

• 解决方差缩减随机算法在随机重排设置下的理论收敛性保证这一开放问题。
• 设计一种新算法AVRG，使其在保持线性收敛的同时减少存储需求并平衡计算负载。
• 将理论分析从有放回的均匀采样推广到更具实际意义的随机重排设置。
• 为方差缩减优化中随机重排所表现出的优越性能提供形式化理论解释。

提出的方法

• 提出一种新颖的理论框架，用于分析SAGA在随机重排设置下的收敛性，证明即使在非独立同分布采样下仍可实现线性收敛。
• 提出AVRG算法，通过在迭代间分摊全梯度计算，实现计算成本的均衡并保持恒定存储。
• 将SAGA框架适配为使用无放回的数据随机重排，确保梯度更新的一致性。
• 采用一种方差缩减机制，仅在必要时更新梯度的运行平均值，以减少内存使用。
• 在非均匀采样方案下，利用随机逼近理论分析收敛行为。
• 证明AVRG中的分摊策略在最小化存储和计算不平衡的同时，仍能保持线性收敛速率。

实验结果

研究问题

• RQ1 SAGA在随机重排下是否线性收敛？若收敛，其条件是什么？
• RQ2 能否设计一种方差缩减算法，在随机重排下保持线性收敛，同时最小化存储并平衡计算？
• RQ3 理论上，随机重排相较于有放回的均匀采样，在方差缩减方法中的性能如何？
• RQ4 分摊全梯度计算对收敛性和内存效率有何影响？

主要发现

• 该论文首次建立了SAGA在随机重排设置下的线性收敛性理论证明，解决了长期存在的开放问题。
• AVRG在随机重排下被证明具有线性收敛性，其收敛速率与SAGA相同，但存储需求恒定。
• AVRG在梯度计算与存储之间实现了均衡的权衡，其计算平衡性优于SVRG，内存效率优于SAGA。
• 理论分析证实，在方差缩减设置下，随机重排的收敛速度优于有放回的均匀采样。
• AVRG中的分摊策略确保全梯度计算在各迭代间均匀分布，避免计算峰值。