[论文解读] Fast Variance Reduction Method with Stochastic Batch Size

Xuanqing Liu, Cho‐Jui Hsieh|arXiv (Cornell University)|Aug 7, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出 SAGA++，一种方差缩减算法，通过考虑内存层次结构和 I/O 成本，动态优化小批量大小以最小化运行时间。与仅最小化数据访问次数的标准 SAGA 不同，SAGA++ 通过偏好顺序内存访问而非随机内存访问，在实践中实现更快的收敛速度，通过自适应小批量选择和频繁的控制变量子更新，在真实数据集上优于 SAGA、SVRG 和 LIBLINEAR。

ABSTRACT

In this paper we study a family of variance reduction methods with randomized batch size---at each step, the algorithm first randomly chooses the batch size and then selects a batch of samples to conduct a variance-reduced stochastic update. We give the linear convergence rate for this framework for composite functions, and show that the optimal strategy to achieve the optimal convergence rate per data access is to always choose batch size of 1, which is equivalent to the SAGA algorithm. However, due to the presence of cache/disk IO effect in computer architecture, the number of data access cannot reflect the running time because of 1) random memory access is much slower than sequential access, 2) when data is too big to fit into memory, disk seeking takes even longer time. After taking these into account, choosing batch size of $1$ is no longer optimal, so we propose a new algorithm called SAGA++ and show how to calculate the optimal average batch size theoretically. Our algorithm outperforms SAGA and other existing batched and stochastic solvers on real datasets. In addition, we also conduct a precise analysis to compare different update rules for variance reduction methods, showing that SAGA++ converges faster than SVRG in theory.

研究动机与目标

• 分析随机小批量大小对方差缩减收敛速率在有限和优化中的影响。
• 在考虑缓存和磁盘 I/O 等实际计算成本的前提下，识别最优小批量大小策略。
• 开发一种实用算法，通过平衡收敛速度与硬件感知效率，超越现有求解器。
• 在实际内存访问约束下，对 SAGA++、SVRG 和 SAGA 进行理论与实证比较。
• 证明频繁控制变量子更新与顺序访问模式可实现比最小数据访问更短的运行时间。

提出的方法

• 该算法采用统一的方差缩减框架，使用随机小批量大小，其中在每一步中，小批量大小在梯度计算前被随机选择。
• 证明了对于任意小批量大小分布，复合强凸问题均具有线性收敛性，表明小批量大小为 1（即 SAGA）可最小化数据访问次数。
• 该方法引入硬件感知成本建模，以考虑顺序访问与随机访问之间的差异及磁盘 I/O 开销。
• SAGA++ 动态计算最优平均小批量大小以最小化运行时间，而不仅是最小化数据访问次数。
• 它为 ℓ₁-正则化问题实现懒更新，以加速收敛，相比标准 SAGA 和 SVRG 更具效率。
• 该算法结合了 SVRG 的顺序访问优势与 SAGA 的频繁控制变量子更新，从而降低梯度方差。

实验结果

研究问题

• RQ1 在考虑实际硬件 I/O 成本时，增大小批量大小是否能提升方差缩减方法的收敛速度？
• RQ2 哪种小批量大小策略能最小化运行时间而非数据访问次数？
• RQ3 在内存访问约束下，更新规则的选择（如 SAGA 与 SVRG）如何影响收敛速度？
• RQ4 结合顺序访问与频繁控制变量子更新的混合方法是否能超越现有方法？
• RQ5 缓存和磁盘 I/O 效应对 SAGA 的理论优势在实践中为何失效？

主要发现

• SAGA++ 在所有测试数据集（包括 kddb、avazu 和 criteo）上均优于 SAGA、SVRG 和 LIBLINEAR 的运行时间。
• 尽管 SAGA 通过使用小批量大小 1 最小化了数据访问次数，但其在实际中并非最优，因随机内存访问开销较高。
• SAGA++ 的最优平均小批量大小从理论上推导得出，以最小化运行时间，同时考虑顺序访问速度和 I/O 成本。
• SAGA++ 在理论上比 SVRG 收敛更快，原因在于更频繁的控制变量子更新可降低梯度方差。
• 懒更新技术显著加速了 ℓ₁-正则化求解器，使 SAGA++ 超越 LIBLINEAR 中的近精确牛顿法。
• 在 kddb 数据集上，SAGA++ 在不同正则化参数下始终优于竞争对手，展现出鲁棒性与高效性。