[论文解读] Communication Efficient Sparsification for Large Scale Machine Learning

Sarit Khirirat, Sindri Magnússon+2 more|arXiv (Cornell University)|Mar 13, 2020

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出了一种动态调优规则，可在分布式机器学习中自动调整压缩参数，以最大化每比特传输的通信效率。通过在每次迭代中优化梯度压缩与目标函数改进之间的权衡，该方法显著提升了最先进压缩方案的效率，且无需手动调整超参数。

ABSTRACT

The increasing scale of distributed learning problems necessitates the development of compression techniques for reducing the information exchange between compute nodes. The level of accuracy in existing compression techniques is typically chosen before training, meaning that they are unlikely to adapt well to the problems that they are solving without extensive hyper-parameter tuning. In this paper, we propose dynamic tuning rules that adapt to the communicated gradients at each iteration. In particular, our rules optimize the communication efficiency at each iteration by maximizing the improvement in the objective function that is achieved per communicated bit. Our theoretical results and experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.

研究动机与目标

• 解决大规模分布式学习系统中固定压缩策略的低效问题。
• 克服现有压缩技术中对大量超参数调优的需求。
• 开发基于实时梯度特征动态调整压缩的自适应机制。
• 通过优化每传输比特的目标函数改进量，最大化通信效率。
• 实现自动的、迭代级别的压缩参数调优，以适应不断变化的训练动态。

提出的方法

• 提出动态调优规则，根据每次训练迭代中当前梯度的结构和大小调整压缩参数。
• 制定一个优化目标，以最大化每传输比特的损失函数改进量。
• 将动态调优机制与现有的稀疏化技术（如top-k和随机采样）集成。
• 利用梯度统计量（如幅度分布）指导实时决策，确定稀疏化程度和选择标准。
• 在训练过程中迭代应用调优规则，以自适应控制节点间传输的比特数。
• 在保持与标准压缩方案后向兼容性的同时，提升其通信效率。

实验结果

研究问题

• RQ1 动态压缩调优是否能在无需手动调整超参数的情况下提升分布式机器学习中的通信效率？
• RQ2 与固定压缩策略相比，该方法在通信成本和收敛速度方面表现如何？
• RQ3 动态调优在多大程度上能够适应不同训练迭代中变化的梯度特征？
• RQ4 对每比特改进量的自适应优化是否能在多种深度学习模型和数据集上实现一致的性能提升？

主要发现

• 动态调优规则显著提升了多种最先进压缩方案的通信效率。
• 该方法减少了达到特定模型精度所需的比特数，优于固定压缩策略。
• 自适应调优通过更有效的梯度传输，使收敛速度在通信轮次上更快。
• 与静态压缩设置相比，该方法在每传输比特的目标函数改进量上表现更优。
• 该技术在不同模型和数据集上均表现出鲁棒性，实现一致的性能提升且无需重新调优。
• 理论分析证实，该动态策略优化了压缩与优化进度之间的权衡。