[论文解读] A flexible framework for communication-efficient machine learning: from HPC to IoT

Sarit Khirirat, Sindri Magnússon+2 more|arXiv (Cornell University)|Mar 13, 2020

IoT and Edge/Fog Computing参考文献 17被引用 4

一句话总结

本文提出了一种通信感知自适应调优（CAT）框架，可动态调整机器学习中的梯度压缩级别，以在每比特通信量下最大化目标函数的改进。通过建模特定平台的通信成本并在每次迭代中优化压缩策略，CAT 相较于完整梯度下降，将通信成本降低了高达 5 个数量级，在 HPC 和 IoT 系统中均优于静态调优方法。

ABSTRACT

With the increasing scale of machine learning tasks, it has become essential to reduce the communication between computing nodes. Early work on gradient compression focused on the bottleneck between CPUs and GPUs, but communication-efficiency is now needed in a variety of different system architectures, from high-performance clusters to energy-constrained IoT devices. In the current practice, compression levels are typically chosen before training and settings that work well for one task may be vastly suboptimal for another dataset on another architecture. In this paper, we propose a flexible framework which adapts the compression level to the true gradient at each iteration, maximizing the improvement in the objective function that is achieved per communicated bit. Our framework is easy to adapt from one technology to the next by modeling how the communication cost depends on the compression level for the specific technology. Theoretical results and practical experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.

研究动机与目标

• 为解决从高性能计算集群到资源受限的 IoT 设备等多样化架构中分布式机器学习的通信瓶颈问题。
• 克服静态压缩调优方法在不同数据集和系统配置下均表现次优的局限性。
• 开发一种灵活、面向技术的框架，能够根据梯度信息和通信成本模型实时调整压缩级别。
• 通过最大化每次迭代中目标函数改进与通信成本的比值，提升通信效率。

提出的方法

• CAT 框架将通信成本建模为压缩级别的函数，针对不同硬件平台使用分析模型或实测数据。
• 提出一个优化问题，以选择使目标函数保证下降量与通信成本之比最大的压缩级别 T。
• 针对每种压缩方案——稀疏化、稀疏化+量化以及随机稀疏化，作者推导了与调优参数 T 相关的问题专用下降引理。
• 该框架应用于多节点环境，并为随机稀疏化方案下的随机梯度下降提供了收敛性分析。
• 引入一种混合启发式方法，通过每 S 次迭代更新一次稀疏化预算，而非每次迭代，以降低稀疏化开销。
• 通过基于 ZMQ 的 TCP 传输实验验证了通信成本模型，结果表现出仿射特性，适用于建模。

实验结果

研究问题

• RQ1 如何动态地将梯度压缩适应于数据相关的信 息内容以及平台特定的通信成本？
• RQ2 在不同系统架构下，能够使每次通信比特带来的目标函数改进最大化的最优压缩级别 T 是什么？
• RQ3 统一框架是否能在从 HPC 到 IoT 的多样化系统中，相比静态或启发式调优方法，实现更优的通信效率？
• RQ4 在不同的通信模型下，如仅负载型与基于数据包的模型，该框架的性能表现如何？

主要发现

• 在 RCV1 数据集上，CAT 相较于完整梯度下降，将通信成本降低了高达 5 个数量级，显著优于静态调优方法。
• 在数据包通信模型下，CAT 的通信效率约为 Alistarh 等人（2017）提出的动态调优规则的两倍，后者未考虑实际通信成本。
• 采用 S=200 的混合启发式方法将稀疏化时间降低了整整一个数量级，同时保持了几乎相同的收敛性能和通信成本。
• 实验结果证实，仿射模型能准确捕捉不同稀疏化预算下的端到端传输时间，验证了通信成本建模方法的有效性。
• 对于随机稀疏化，CAT 即使在负载模型建议使用较小 T 值时，也能自适应地选择最优 T，表现出对模型假设的鲁棒性。
• 尽管每次迭代的稀疏化时间更高，但由于通信开销大幅降低，CAT S+Q 仍实现了更快的墙钟时间收敛速度。