[论文解读] AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems

Ruixuan Liu, Ming Hu+6 more|arXiv (Cornell University)|Nov 23, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

AdapterFL 提出了一种新颖的异构联邦学习框架，通过组合大模型和小模型的部分参数，自适应地重新组装模型，实现在资源受限的移动设备上的高效训练。在异构、非独立同分布（non-IID）及低资源场景下，其准确率比当前最先进方法最高提升12%。

ABSTRACT

Federated Learning (FL) enables collaborative learning of large-scale distributed clients without data sharing. However, due to the disparity of computing resources among massive mobile computing devices, the performance of traditional homogeneous model-based Federated Learning (FL) is seriously limited. On the one hand, to achieve model training in all the diverse clients, mobile computing systems can only use small low-performance models for collaborative learning. On the other hand, devices with high computing resources cannot train a high-performance large model with their insufficient raw data. To address the resource-constrained problem in mobile computing systems, we present a novel heterogeneous FL approach named AdapterFL, which uses a model reassemble strategy to facilitate collaborative training of massive heterogeneous mobile devices adaptively. Specifically, we select multiple candidate heterogeneous models based on the computing performance of massive mobile devices and then divide each heterogeneous model into two partitions. By reassembling the partitions, we can generate models with varied sizes that are combined by the partial parameters of the large model with the partial parameters of the small model. Using these reassembled models for FL training, we can train the partial parameters of the large model using low-performance devices. In this way, we can alleviate performance degradation in large models due to resource constraints. The experimental results show that AdapterFL can achieve up to 12\% accuracy improvement compared to the state-of-the-art heterogeneous federated learning methods in resource-constrained scenarios.

研究动机与目标

• 解决移动和WoT系统中设备资源异构性导致的联邦学习性能下降问题。
• 克服传统联邦学习的局限性，即全局模型大小受最低性能设备的限制。
• 使高性能设备即使在本地数据有限的情况下也能训练更大的模型，同时低性能设备仍能有效贡献。
• 设计一种灵活、自适应的框架，根据设备能力动态选择并重新组装模型，且无需额外数据集。
• 在非独立同分布数据和不同客户端资源比例下，提升模型的泛化能力和可扩展性。

提出的方法

• 根据移动设备的计算能力，选择多个候选异构模型（小、中、大）。
• 将每个模型划分为两个功能组件：特征提取模块和分类器头。
• 通过将大模型的特征提取模块与小模型的分类器头组合，创建不同大小的混合模型，实现模型的重新组装。
• 以联邦方式训练重新组装的模型，使低性能设备可训练分类器头，而高性能设备则训练更复杂的特征提取模块。
• 采用基于组的策略（L-group）优化模型选择与聚合，提升泛化能力和鲁棒性。
• 通过共享的特征表示，在重新组装的模型之间实现知识迁移，最大限度减少因资源限制导致的性能损失。

实验结果

研究问题

• RQ1 如何使联邦学习在具有高度异构设备资源的移动计算系统中更加高效？
• RQ2 当高端设备上的训练数据有限时，是否可以通过大模型和小模型的模型重组来提升性能？
• RQ3 所提出的 AdapterFL 框架在非独立同分布数据分布和不同客户端资源比例下表现如何？
• RQ4 与现有异构联邦学习方法相比，该重组策略在多大程度上提升了模型准确率？
• RQ5 AdapterFL 在不同客户端数量和不同客户端激活比例下的可扩展性如何？

主要发现

• 在资源受限场景下，AdapterFL 的准确率比当前最先进异构联邦学习方法最高提升12%。
• 在 CIFAR-10 数据集上，当80%的客户端为低资源设备（小模型）时，AdapterFL 的 L-group 配置达到76.83%的准确率，优于 FedBase。
• 在80%客户端为高性能设备的场景下，AdapterFL 的 L-M 模型达到79.32%的准确率，显著优于 FedBase 的72.03%。
• AdapterFL 在不同客户端激活比例下保持强劲性能：在5%激活率下，其 L-S 模型达到75.11%准确率，优于 FedBase 的73.49%。
• 当客户端总数从50增加到500时，AdapterFL 维持更高准确率（例如，在 N=50 时，L-S 模型为77.72%，而 FedBase 为76.29%），展现出良好的可扩展性。
• L-group 重组策略始终优于其他配置，证明大模型的特征提取模块能有效提升模型的泛化能力和鲁棒性。