[论文解读] HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients
HeteroFL 使具有不同计算与通信能力的异质本地模型得以训练，并将它们聚合为单一全局模型，而无需相同的体系结构。它引入 sBN、Masked Cross-Entropy 和子网络分发方案以稳定聚合并提升效率。
Federated Learning (FL) is a method of training machine learning models on private data distributed over a large number of possibly heterogeneous clients such as mobile phones and IoT devices. In this work, we propose a new federated learning framework named HeteroFL to address heterogeneous clients equipped with very different computation and communication capabilities. Our solution can enable the training of heterogeneous local models with varying computation complexities and still produce a single global inference model. For the first time, our method challenges the underlying assumption of existing work that local models have to share the same architecture as the global model. We demonstrate several strategies to enhance FL training and conduct extensive empirical evaluations, including five computation complexity levels of three model architecture on three datasets. We show that adaptively distributing subnetworks according to clients' capabilities is both computation and communication efficient.
研究动机与目标
- 在客户端设备具备多样化计算与通信能力时激励联邦学习。
- 提出一个框架来训练异质本地模型并聚合为一个全局模型。
- 提高训练效率并对平衡的非独立同分布数据具有鲁棒性。
- 在异质场景下引入稳定学习和保护隐私的技术。
提出的方法
- 通过向客户端分发全局模型的子网络在多种计算复杂度水平上，使本地模型具有不同的宽度。
- 通过不相交的部分子集在客户端之间聚合参数，以形成全局模型（参数分区的包含并集）。
- 使用静态批归一化（sBN）以避免共享滑动统计量；在训练轮次后更新全局 BN 统计量。
- 在训练期间附加一个 Scaler 模块以在子网络大小差异时对表示进行缩放。
- 应用带掩码的交叉熵损失以通过遮蔽客户端未出现类别的输出来平衡非IID数据。
实验结果
研究问题
- RQ1在联邦学习框架中，具有不同体系结构或尺寸的异质本地模型能否训练出一个单一的准确全局模型？
- RQ2如何稳定聚合异质本地模型并在不同客户端能力下确保训练效率？
- RQ3在平衡/非平衡的非IID数据下，哪些归一化和损失策略最能保护隐私与提升性能？
- RQ4客户端能力的动态变化如何影响收敛性与最终准确性？
主要发现
- HeteroFL 可以训练异质本地模型并将它们聚合为单一全局模型，而不产生额外的计算开销。
- 根据客户端能力自适应的子网络分发在降低计算和通信成本的同时仍能获得有竞争力的准确性。
- 静态 BN 和带掩码的交叉熵在平衡的非IID数据情景下提升稳定性与性能。
- 该方法对动态变化的本地能力和不同模型体系结构（CNN、PreResNet18、Transformer）具有鲁棒性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。