[论文解读] AdaBatch: Efficient Gradient Aggregation Rules for Sequential and Parallel Stochastic Gradient Methods

Alexandre Défossez, Francis Bach|arXiv (Cornell University)|Nov 6, 2017

Stochastic Gradient Optimization Techniques参考文献 15被引用 10

一句话总结

AdaBatch 为随机梯度方法提出了一种新颖的梯度聚合规则，该规则基于稀疏性自适应地对每个坐标进行梯度重缩放，从而提升样本效率并实现高效的并行化。其性能与异步方法（如 Hogwild!）相当，同时保持了收敛性保证，在稀疏数据集的顺序和分布式设置下，显著优于标准的小批量 SGD。

ABSTRACT

We study a new aggregation operator for gradients coming from a mini-batch for stochastic gradient (SG) methods that allows a significant speed-up in the case of sparse optimization problems. We call this method AdaBatch and it only requires a few lines of code change compared to regular mini-batch SGD algorithms. We provide a theoretical insight to understand how this new class of algorithms is performing and show that it is equivalent to an implicit per-coordinate rescaling of the gradients, similarly to what Adagrad methods can do. In theory and in practice, this new aggregation allows to keep the same sample efficiency of SG methods while increasing the batch size. Experimentally, we also show that in the case of smooth convex optimization, our procedure can even obtain a better loss when increasing the batch size for a fixed number of samples. We then apply this new algorithm to obtain a parallelizable stochastic gradient method that is synchronous but allows speed-up on par with Hogwild! methods as convergence does not deteriorate with the increase of the batch size. The same approach can be used to make mini-batch provably efficient for variance-reduced SG methods such as SVRG.

研究动机与目标

• 解决标准小批量 SGD 在稀疏优化中效率低下的问题，即大批次大小会降低样本效率。
• 克服同步并行 SGD 的局限性，其因迭代次数减少而扩展性差，且在大批次下收敛不稳定。
• 开发一种梯度聚合规则，在允许更大批次大小和有效并行化的同时，保持样本效率。
• 使同步分布式 SGD 的性能达到与异步方法（如 Hogwild!）相当，同时不牺牲收敛性保证。
• 将 AdaBatch 的优势扩展到方差减少方法（如 SVRG），提升其在稀疏数据上的效率。

提出的方法

• 用逐坐标归一化替代标准的小批量平均：每个梯度分量除以该坐标在批次中非零梯度的数量。
• 该规则隐式地重新加权优化问题，以利用数据稀疏性，类似于 Adagrad 的逐坐标学习率自适应机制。
• 通过在每个坐标上保持梯度范数的随机平均，确保梯度范数控制，从而维持稳定性。
• 该方法兼容顺序和并行 SGD，支持高效的同步分布式训练。
• 可仅通过修改梯度聚合逻辑，轻松集成到现有的 SGD 和 SVRG 框架中，代码改动极少。
• 理论分析表明，其等价于隐式的逐坐标梯度重缩放，在标准假设下提供收敛性保证。

实验结果

研究问题

• RQ1 是否可以通过修改梯度聚合规则，在不增加计算成本的前提下，提升稀疏随机优化中的样本效率？
• RQ2 所提出的 AdaBatch 规则是否能使同步 SGD 在更大批次大小和更多工作节点下有效扩展，达到与 Hogwild! 等异步方法相当的性能？
• RQ3 与标准小批量 SGD 相比，AdaBatch 在稀疏数据集上能多大程度地提升收敛速度和最终测试误差？
• RQ4 AdaBatch 是否可成功扩展到方差减少方法（如 SVRG），并保持其在样本效率和并行可扩展性方面的优势？
• RQ5 在训练时间（wall-clock time）和样本效率方面，AdaBatch 与最先进的异步方法（如 Hogwild!）相比表现如何？

主要发现

• AdaBatch 在收敛速度和最终测试误差方面显著优于标准小批量 SGD，尤其在增大批次大小和工作节点数时表现更优。
• 在 spam 和 url 数据集上，即使采用同步训练，AdaBatch 的训练时间收敛性能也与 Hogwild! 相当，而标准小批量 SGD 在大批次下性能明显下降。
• 在 news20 数据集上，AdaBatch 在使用大批次时仍能保持或提升样本效率，优于标准 SGD。
• 在 SVRG 实验中，AdaBatch 的收敛速度优于标准小批量 SVRG，尤其在优化初期阶段，且在 news20 和 spam 数据集上均观察到性能提升。
• 该方法使同步 SGD 能够高效地随工作节点数量扩展，在 spam 和 url 数据集上，每秒处理样本数接近理想加速比。
• 理论分析证实，AdaBatch 等价于对梯度进行隐式的逐坐标重缩放，类似于 Adagrad，这解释了其改进的稳定性和收敛特性。