[论文解读] DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning

Robert Hönig, Yiren Zhao+1 more|arXiv (Cornell University)|Oct 31, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用 37

一句话总结

DAdaQuant 提出了一种用于通信高效联邦学习的双重自适应量化方法，该方法随时间动态调整量化级别，并按客户端进行调整，以在不损失模型准确率的前提下最小化上行链路通信量。通过结合时间自适应与客户端自适应策略，其在通信-准确率权衡中实现了帕累托效率，相比非自适应基线方法，压缩比最高提升 2.8 倍。

ABSTRACT

Federated Learning (FL) is a powerful technique for training a model on a server with data from several clients in a privacy-preserving manner. In FL, a server sends the model to every client, who then train the model locally and send it back to the server. The server aggregates the updated models and repeats the process for several rounds. FL incurs significant communication costs, in particular when transmitting the updated local models from the clients back to the server. Recently proposed algorithms quantize the model parameters to efficiently compress FL communication. These algorithms typically have a quantization level that controls the compression factor. We find that dynamic adaptations of the quantization level can boost compression without sacrificing model quality. First, we introduce a time-adaptive quantization algorithm that increases the quantization level as training progresses. Second, we introduce a client-adaptive quantization algorithm that assigns each individual client the optimal quantization level at every round. Finally, we combine both algorithms into DAdaQuant, the doubly-adaptive quantization algorithm. Our experiments show that DAdaQuant consistently improves client$ ightarrow$server compression, outperforming the strongest non-adaptive baselines by up to $2.8 imes$.

研究动机与目标

• 为降低联邦学习中的通信成本，特别是带宽密集型的客户端到服务器上行链路阶段。
• 解决静态量化方法的低效性，后者使用固定的量化级别，而不论训练进度或客户端数据分布如何。
• 开发一种基于训练动态和客户端特定数据规模自适应分配量化级别的方法，以最小化通信量同时保持收敛性。
• 通过结合时间与客户端层面的自适应性，实现联邦学习中最先进的压缩性能。

提出的方法

• 引入时间自适应量化，随着训练进程单调增加量化级别 q，从较低的 q 开始以减少早期通信成本。
• 提出客户端自适应量化，将每个客户端的量化级别与其本地数据集大小成比例分配，确保高影响力客户端使用更多比特以减少整体量化误差。
• 将量化误差度量定义为累积量化模型参数的期望方差，E[Var(Q(p))]，以指导客户端级别的量化级别分配。
• 将两种策略整合为 DAdaQuant，一种双重自适应框架，可在时间和客户端之间动态调整量化级别。
• 对 QSGD 量化算法进行改进，采用随轮次和客户端动态演化的量化级别，同时保持与现有联邦学习流程的兼容性。
• 采用帕累托最优准则，确保通信减少不会降低模型准确率。

实验结果

研究问题

• RQ1 在联邦学习中，随时间动态调整量化级别是否能提高通信效率而不损害模型收敛性？
• RQ2 根据客户端本地数据规模分配不同量化级别，是否能减少整体量化误差和通信成本？
• RQ3 结合时间与客户端自适应量化如何影响联邦学习中的通信-准确率权衡？
• RQ4 与现有基线相比，所提出的双重自适应量化方法是否具有帕累托最优性？

主要发现

• DAdaQuant 在多个数据集上相比最强的非自适应基线 Federated QSGD，实现了最高达 2.8 倍的压缩性能提升。
• 时间自适应变体 DAdaQuanttime 在通信效率方面普遍优于 Federated QSGD 和其他基线，同时保持了相当的准确率。
• 客户端自适应变体 DAdaQuantclients 在本地数据规模方差较高的数据集（如 Synthetic（cv = 3.3）和 Shakespeare（cv = 1.7））上实现更高的压缩率，相较于方差较低的数据集（如 Sent140（cv = 0.3））表现更优。
• DAdaQuant 综合了两种自适应策略的优势，实现乘法级压缩增益，在通信节省方面优于两种独立变体。
• DAdaQuant 具有帕累托最优性：在任意固定通信成本下，其在所有评估数据集上的准确率均高于 Federated QSGD。
• 该方法具有鲁棒性和可扩展性，通信成本与客户端数量无关，而 AdaQuantFL 的通信成本则随客户端数量线性增长。