[论文解读] Accordion: Adaptive Gradient Communication via Critical Learning Regime Identification

Saurabh Agarwal, Hongyi Wang+3 more|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 15

一句话总结

Accordion 是一种自适应梯度压缩算法，通过检测梯度范数变化来动态调整压缩策略，以应对关键学习阶段。它在保持与低压缩训练相当的模型精度的同时，相较于静态方法，实现了高达 5.5× 的压缩率提升和 4.1× 的端到端加速。

ABSTRACT

Distributed model training suffers from communication bottlenecks due to frequent model updates transmitted across compute nodes. To alleviate these bottlenecks, practitioners use gradient compression techniques like sparsification, quantization, or low-rank updates. The techniques usually require choosing a static compression ratio, often requiring users to balance the trade-off between model accuracy and per-iteration speedup. In this work, we show that such performance degradation due to choosing a high compression ratio is not fundamental. An adaptive compression strategy can reduce communication while maintaining final test accuracy. Inspired by recent findings on critical learning regimes, in which small gradient errors can have irrecoverable impact on model performance, we propose Accordion a simple yet effective adaptive compression algorithm. While Accordion maintains a high enough compression rate on average, it avoids over-compressing gradients whenever in critical learning regimes, detected by a simple gradient-norm based criterion. Our extensive experimental study over a number of machine learning tasks in distributed environments indicates that Accordion, maintains similar model accuracy to uncompressed training, yet achieves up to 5.5x better compression and up to 4.1x end-to-end speedup over static approaches. We show that Accordion also works for adjusting the batch size, another popular strategy for alleviating communication bottlenecks.

研究动机与目标

• 解决分布式训练中通信效率与模型精度之间的根本权衡问题。
• 利用梯度范数动态变化作为信号，识别出高斯压缩会降低性能的关键学习阶段。
• 设计一种低开销、通用的自适应压缩策略，提升通信效率且无需超参数调优。
• 证明自适应压缩在精度和速度方面均可优于静态压缩方法。
• 探索自适应小批量大小与自适应梯度压缩在训练结果上的等价性。

提出的方法

• Accordion 通过监测梯度范数大小的变化率来检测关键学习阶段。
• 在关键阶段，切换至低压缩（例如 PowerSGD 中的 Rank 2 或高 K 值的 Top-K）以保持模型性能。
• 在关键阶段之外，应用高压缩（例如 Rank 1 或低 K 值的 Top-K）以减少通信量。
• 该算法采用两种压缩级别：ℓ_low（安全、准确）和 ℓ_high（高度压缩），其切换由梯度范数动态触发。
• 该方法无需额外的超参数调优，仅依赖梯度范数变化来指导压缩切换。
• 该方法兼容两种压缩技术：稀疏化（Top-K）和低秩近似（PowerSGD）压缩。

实验结果

研究问题

• RQ1 能否通过自适应压缩克服分布式训练中通信效率与模型精度之间的权衡？
• RQ2 在实践中，能否可靠地利用梯度范数动态来检测关键学习阶段？
• RQ3 基于训练阶段动态调整压缩是否能同时提升通信效率和最终模型精度？
• RQ4 在训练结果方面，自适应小批量大小与自适应梯度压缩是否存在实际等价性？
• RQ5 Accordion 是否能在显著减少通信量的前提下，实现与低压缩训练相当的性能？

主要发现

• 与静态压缩方法相比，Accordion 实现了高达 5.5× 的压缩率提升和 4.1× 的端到端加速，同时保持了测试精度。
• 在 Cifar-100 上训练 ResNet-18 时，Accordion 达到了与低压缩（Rank 2）训练相当的精度，但通信量减少了 3.7×。
• 即使在与低压缩训练相同的通信预算下，Rank-1 PowerSGD 也无法达到 Rank-2 的精度，而 Accordion 成功实现了更低通信量下的精度匹配。
• 在 Cifar-100 上训练 VGG-19 时，当 ℓ_low = Rank 2 且 ℓ_high = Rank 4 时，Accordion 达到了与 Rank-4 训练相当的精度，但通信量减少了 2.3×。
• 该方法在 Top-K 稀疏化和 PowerSGD 低秩压缩中均表现良好，显示出广泛的适用性。
• 梯度范数的变化率是识别关键学习阶段的可靠代理，可实现准确的压缩切换。