[论文解读] AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems

Chentao Jia, Ming Hu+5 more|arXiv (Cornell University)|Nov 22, 2023

Privacy-Preserving Technologies in Data参考文献 19被引用 4

一句话总结

AdaptiveFL 提出了一种新颖的联邦学习框架，适用于资源受限的 AIoT 系统，通过细粒度的宽度剪枝生成针对设备资源定制的异构本地模型。通过结合基于强化学习的动态设备选择与自适应模型分发机制，AdaptiveFL 在 IID 和非 IID 数据分布下，推理准确率相比最先进方法最高提升 16.83%。

ABSTRACT

Although Federated Learning (FL) is promising to enable collaborative learning among Artificial Intelligence of Things (AIoT) devices, it suffers from the problem of low classification performance due to various heterogeneity factors (e.g., computing capacity, memory size) of devices and uncertain operating environments. To address these issues, this paper introduces an effective FL approach named AdaptiveFL based on a novel fine-grained width-wise model pruning strategy, which can generate various heterogeneous local models for heterogeneous AIoT devices. By using our proposed reinforcement learning-based device selection mechanism, AdaptiveFL can adaptively dispatch suitable heterogeneous models to corresponding AIoT devices on the fly based on their available resources for local training. Experimental results show that, compared to state-of-the-art methods, AdaptiveFL can achieve up to 16.83% inference improvements for both IID and non-IID scenarios.

研究动机与目标

• 解决 AIoT 系统中因硬件异构性和非独立同分布（non-IID）数据导致的联邦学习性能下降问题。
• 克服现有异构联邦学习方法依赖粗粒度剪枝或需要外部数据集的局限，避免违反数据隐私。
• 基于实时设备资源可用性，实现动态、即时的模型分发，以最大化全局模型性能。
• 通过智能设备选择减少不匹配模型传输，降低通信开销。
• 在不确定、动态的运行条件下，确保在多样化 AIoT 设备配置下具备强泛化能力和鲁棒性。

提出的方法

• 提出一种细粒度的宽度剪枝策略，选择性地剪枝层内的通道而非整个层，从而在保持模型容量的同时减小模型尺寸。
• 采用基于强化学习（RL）的客户端选择机制，根据历史模型大小和资源可用性选择设备，最小化通信浪费。
• 在强化学习中引入双重奖励信号——资源奖励与好奇心奖励，以平衡效率与探索。
• 支持在设备上直接训练剪枝后的模型，无需额外适配器或参数重新初始化，实现即插即用的部署。
• 通过参数迁移隐式应用知识蒸馏原理，使剪枝模型能够继承来自更大全局模型的知识。
• 通过 FedAvg 实现模型聚合，利用自适应剪枝生成的异构本地模型，保持与标准联邦学习流程的兼容性。

实验结果

研究问题

• RQ1 如何有效将联邦学习适配到具有高度异构设备和动态变化资源可用性的 AIoT 系统？
• RQ2 与粗粒度或层级剪枝相比，细粒度的宽度剪枝在异构联邦学习中能在多大程度上提升模型性能？
• RQ3 基于强化学习的设备选择策略是否能减少资源受限联邦学习环境中的通信开销并提高训练效率？
• RQ4 在非 IID 数据分布以及强、中、弱设备比例变化的情况下，AdaptiveFL 的表现如何？
• RQ5 在自适应、异构的联邦学习中，模型大小、推理准确率与通信效率之间存在何种权衡？

主要发现

• 在 IID 和非 IID 情况下，AdaptiveFL 的测试准确率相比最先进方法最高提升 16.83%，展现出卓越的泛化能力。
• 与粗粒度剪枝相比，细粒度宽度剪枝策略将推理准确率最高提升 9.38%，尤其在 ResNet18 等深层模型在 CIFAR-100 上表现更优。
• 与贪婪或随机选择策略相比，基于强化学习的客户端选择机制将通信浪费率降低了 30–40%。
• 在包含 17 台异构设备（Raspberry Pi、Jetson Nano 和 Jetson Xavier）的真实测试平台上，AdaptiveFL 在学习曲线和最终准确率上均优于所有基线方法。
• 消融实验表明，包含资源奖励与好奇心奖励的完整 AdaptiveFL 模型在准确率最高且通信浪费最低，证明了双重奖励强化学习设计的有效性。
• 即使强设备比例较低（如 1:8:1），该方法仍能保持高性能，展现出对设备能力不平衡的强鲁棒性。