[论文解读] 3LC: Lightweight and Effective Traffic Compression for Distributed Machine Learning

Hyeontaek Lim, David G. Andersen+1 more|arXiv (Cornell University)|Feb 21, 2018

Neural Networks and Applications参考文献 7被引用 36

一句话总结

3LC 是一种用于分布式机器学习的轻量级有损压缩方案，结合了三值量化、四次编码和零运行编码，可在极低精度损失和计算开销下实现高达 107× 的流量减少。该方案在不修改现有机器学习算法的前提下，将 10-GPU 集群上 CIFAR-10 数据集上 ResNet-110 的训练时间最多缩短 23×。

ABSTRACT

The performance and efficiency of distributed machine learning (ML) depends significantly on how long it takes for nodes to exchange state changes. Overly-aggressive attempts to reduce communication often sacrifice final model accuracy and necessitate additional ML techniques to compensate for this loss, limiting their generality. Some attempts to reduce communication incur high computation overhead, which makes their performance benefits visible only over slow networks. We present 3LC, a lossy compression scheme for state change traffic that strikes balance between multiple goals: traffic reduction, accuracy, computation overhead, and generality. It combines three new techniques---3-value quantization with sparsity multiplication, quartic encoding, and zero-run encoding---to leverage strengths of quantization and sparsification techniques and avoid their drawbacks. It achieves a data compression ratio of up to 39--107X, almost the same test accuracy of trained models, and high compression speed. Distributed ML frameworks can employ 3LC without modifications to existing ML algorithms. Our experiments show that 3LC reduces wall-clock training time of ResNet-110--based image classifiers for CIFAR-10 on a 10-GPU cluster by up to 16--23X compared to TensorFlow's baseline design.

研究动机与目标

• 解决由高带宽状态变化传输引起的分布式机器学习中的通信瓶颈问题。
• 在不牺牲模型精度或无需算法修改的前提下减少网络流量。
• 将计算开销最小化，以确保即使在快速本地网络中也能体现性能提升。
• 在压缩效率、精度、通用性与低计算成本之间实现平衡。

提出的方法

• 采用带稀疏性乘法的三值量化，将 32 位浮点状态变化映射为 {-1, 0, 1} 值，通过可调的压缩控制参数和误差累积缓冲区来校正量化误差。
• 使用四次编码，通过快速可向量化操作将五个三值编码压缩为单个字节，相比 2 位编码节省 20% 的存储空间。
• 应用零运行编码——一种专门的游程编码变体——以压缩连续的零值字节组，对四次编码后的数据实现最高达 8× 的压缩率。
• 将三种技术整合为统一的流水线，实现对梯度和模型增量的有损压缩，延迟极低，且无需修改机器学习框架。
• 利用向量化操作和字节级处理，确保计算开销低、吞吐量高。
• 设计该方案以兼容现有分布式训练框架（如 TensorFlow），无需对算法进行任何修改。

实验结果

研究问题

• RQ1 一种通信压缩方案能否在分布式机器学习中实现高流量压缩率，同时保持模型精度并最小化计算开销？
• RQ2 如何有效结合量化与稀疏化，避免二者各自固有的缺点？
• RQ3 一种压缩方案能否在不修改现有机器学习框架算法的前提下，跨不同网络带宽保持高性能？
• RQ4 在保持收敛性和精度的前提下，分布式训练中状态变化流量的最大可实现压缩比是多少？
• RQ5 该压缩方案在具有不同梯度和模型增量分布的实际分布式训练工作负载下表现如何？

主要发现

• 3LC 对 32 位浮点状态变化的最大流量压缩比达到 107×，平均每个值仅需 0.3–0.8 位。
• 即使在高倍率压缩下，使用相同训练步数时，该方案仍能将测试精度保持在基线模型的 0.1% 以内。
• 与 TensorFlow 基线相比，10-GPU 集群上 CIFAR-10 数据集上的 ResNet-110 训练的墙钟时间最多缩短 23×。
• 压缩流水线具备高速性能且计算开销极低，即使在快速数据中心网络中也能实现性能提升。
• 零运行编码对四次编码后的数据最高可实现 8× 的压缩率，显著提升了整体效率。
• 3LC 在压缩比和精度保持方面优于 TernGrad、QSGD 和 Deep Gradient Compression 等先前方法，且无需对模型或算法进行任何修改。