[论文解读] L-SVRG and L-Katyusha with Arbitrary Sampling

Xun Qian, Zheng Qu+1 more|arXiv (Cornell University)|Jun 4, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用 11

一句话总结

本论文提出了L-SVRG与L-Katyusha的任意采样方法，引入了一种新颖的期望光滑性条件，使在包括非均匀采样和有放回采样在内的通用采样方案下能够进行收敛性分析。该方法在特定期望小批量大小下实现了线性加速，并通过与期望可分过近似（ESO）的关联利用了数据稀疏性，将先前的无环方法作为特例恢复，同时将其适用范围扩展至非凸和非强凸情形。

ABSTRACT

We develop and analyze a new family of {\em nonaccelerated and accelerated loopless variance-reduced methods} for finite sum optimization problems. Our convergence analysis relies on a novel expected smoothness condition which upper bounds the variance of the stochastic gradient estimation by a constant times a distance-like function. This allows us to handle with ease {\em arbitrary sampling schemes} as well as the nonconvex case. We perform an in-depth estimation of these expected smoothness parameters and propose new importance samplings which allow {\em linear speedup} when the expected minibatch size is in a certain range. Furthermore, a connection between these expected smoothness parameters and expected separable overapproximation (ESO) is established, which allows us to exploit data sparsity as well. Our results recover as special cases the recently proposed loopless SVRG and loopless Katyusha.

研究动机与目标

• 为任意采样方案下的无环方差缩减方法建立统一的收敛性分析框架。
• 将L-SVRG与L-Katyusha的适用范围从强凸与光滑情形扩展至非强凸与非凸问题。
• 建立期望光滑性参数与期望可分过近似（ESO）之间的联系，以利用数据稀疏性。
• 推导出新的重要性采样策略，当期望小批量大小处于有利范围时可实现线性加速。
• 在统一的理论框架下，将现有无环方法（L-SVRG与L-Katyusha）作为特例恢复并推广。

提出的方法

• 提出一种新颖的期望光滑性条件，通过常数乘以距离类函数来限制随机梯度的方差，从而实现在任意采样方案下的分析。
• 通过估计期望光滑性参数，为L-SVRG与L-Katyusha在任意采样（包括有放回采样）下建立统一的收敛性分析。
• 推导出新的重要性采样策略，确保当期望小批量大小位于特定范围内时实现线性加速。
• 建立期望光滑性参数与期望可分过近似（ESO）之间的正式联系，从而在稀疏或结构化数据集中高效利用数据稀疏性。
• 设计L-SVRG与L-Katyusha的高效实现方式，通过利用递归更新结构，每轮迭代保持O(log T)的更新复杂度。
• 采用延迟更新机制与递归平均方法，在消除外层循环的同时保持收敛速率，提升实际鲁棒性与简洁性。

实验结果

研究问题

• RQ1 能否为任意采样（包括非均匀采样与有放回采样）下的无环方差缩减方法建立统一的收敛性分析？
• RQ2 期望光滑性参数在为非凸与非强凸问题提供收敛性保证中起到何种作用？
• RQ3 如何设计重要性采样以使L-SVRG与L-Katyusha在期望小批量大小下实现线性加速？
• RQ4 期望光滑性与ESO之间的联系如何在稀疏数据上实现更优性能？
• RQ5 所提出的框架能否将现有无环方法（如L-SVRG与L-Katyusha）作为特例恢复并推广？

主要发现

• 所提出的期望光滑性条件使L-SVRG与L-Katyusha在包括非均匀采样与有放回采样在内的任意采样下均可进行收敛性分析，突破了以往仅限于均匀采样的研究局限。
• 推导出的新重要性采样策略在期望小批量大小处于有利范围时可实现线性加速，显著提升了实际收敛速度。
• 期望光滑性与ESO之间的联系使该方法能够有效利用数据稀疏性，从而在不修改算法结构的前提下加快稀疏数据集上的收敛速度。
• 建立了非强凸与非凸情形下的理论收敛速率，填补了此前无环方法在该类问题上缺乏此类分析的空白。
• 该框架将先前提出的无环SVRG与无环Katyusha作为特例恢复，验证了其理论通用性与与现有结果的一致性。
• 数值实验表明，所提方法在收敛速度与鲁棒性方面优于标准实现，尤其在非均匀采样与稀疏数据场景下表现更优。