[论文解读] CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization

Kilian Pfeiffer, Martin Rapp+2 more|arXiv (Cornell University)|Mar 10, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

CoCoFL 提出了一种通信与计算感知的联邦学习框架，在所有设备上保持完整的神经网络结构，同时通过选择性地冻结和量化层来减少资源使用。通过使受限设备通过量化和融合训练更多模块，CoCoFL 在非独立同分布（non-IID）设置下相比最先进方法实现了高达 14.9 个百分点的准确率提升，确保了公平性并提升了模型性能。

ABSTRACT

Devices participating in federated learning (FL) typically have heterogeneous communication, computation, and memory resources. However, in synchronous FL, all devices need to finish training by the same deadline dictated by the server. Our results show that training a smaller subset of the neural network (NN) at constrained devices, i.e., dropping neurons/filters as proposed by state of the art, is inefficient, preventing these devices to make an effective contribution to the model. This causes unfairness w.r.t the achievable accuracies of constrained devices, especially in cases with a skewed distribution of class labels across devices. We present a novel FL technique, CoCoFL, which maintains the full NN structure on all devices. To adapt to the devices' heterogeneous resources, CoCoFL freezes and quantizes selected layers, reducing communication, computation, and memory requirements, whereas other layers are still trained in full precision, enabling to reach a high accuracy. Thereby, CoCoFL efficiently utilizes the available resources on devices and allows constrained devices to make a significant contribution to the FL system, increasing fairness among participants (accuracy parity) and significantly improving the final accuracy of the model.

研究动机与目标

• 为解决联邦学习中的公平性问题，确保资源受限设备能够对模型训练做出有意义的贡献。
• 克服现有基于子集的方法的局限性，这些方法在低能力设备上降低模型复杂度，导致准确率下降和不公平性。
• 通过在保留完整模型结构的同时优化资源使用，在具有异构通信、计算和内存约束的设备上实现高准确率训练。
• 在非独立同分布（non-iid）数据设置下提升最终模型的准确率，因为此类设置中标签分布偏斜通常会损害传统方法的性能。
• 开发一种无需服务器参与、基于启发式的层选择机制，可在运行时根据本地设备约束自适应调整。

提出的方法

• CoCoFL 在所有设备上保持完整的神经网络架构，避免模型剪枝或子集训练。
• 它在资源受限设备上选择性地冻结层，以减少梯度计算、激活存储和参数更新的大小。
• 冻结的层被量化（例如，量化为 8 位整数），以进一步降低计算和内存使用。
• 训练的层保持全精度，以保留学习能力和模型准确率。
• 一种设备无关的启发式方法在运行时基于设计时性能分析（计算、通信、内存）的预采集数据，选择冻结和量化层。
• 该框架支持量化冻结层（QFF）和融合冻结层（FF），其中融合可进一步减少内存和计算开销。

实验结果

研究问题

• RQ1 联邦学习系统是否能在不降低模型复杂度的前提下，在资源异构的设备上保持高准确率？
• RQ2 在非独立同分布（non-iid）数据设置下，对选定层进行量化和冻结是否能提升受限设备的贡献？
• RQ3 一种无需服务器参与、设备自适应的层选择策略是否能有效平衡资源使用与模型准确率？
• RQ4 量化和层融合如何影响资源节省与准确率下降之间的权衡？
• RQ5 CoCoFL 在最终模型准确率和公平性方面，相较于最先进基于子集的方法，优势有多大？

主要发现

• 当设备约束为 l=0.4 时，CoCoFL 相较于基线方法 CoCoFL^F 实现了高达 14.9 个百分点的准确率提升，表明性能显著增强。
• 在 l=0.25 的约束下，CoCoFL^QFF 相较于 CoCoFL^FF 准确率提升 6.5 个百分点，证明了量化和融合的优势。
• 量化和层融合引入的误差可忽略不计，当未利用增益时，准确率最大误差仅为 2.3 个百分点。
• 量化和融合使资源受限设备在相同资源约束下能够训练更多可训练模块，直接提升模型准确率。
• 由于训练容量提升带来的准确率增益，超过了量化引入的小误差，尤其是在设备约束较紧时更为明显。
• 当设备约束接近全资源（l≈1.0）时，量化和融合的优势减弱，可能因量化误差导致轻微准确率损失。