[论文解读] FedEntropy: Efficient Device Grouping for Federated Learning Using Maximum Entropy Judgment

Zhiwei Ling, Zhihao Yue+4 more|arXiv (Cornell University)|May 24, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

FedEntropy 提出了一种用于联邦学习的动态设备分组方法，通过最大熵判断在聚合前选择高质量的本地模型。通过评估所选设备的软标签，并仅上传能最大化整体熵的模型，FedEntropy 提升了分类准确率并减少了通信开销，在 CIFAR-10、Fashion-MNIST 和 EMNIST 基准测试中优于当前最先进联邦学习方法。

ABSTRACT

Along with the popularity of Artificial Intelligence (AI) and Internet-of-Things (IoT), Federated Learning (FL) has attracted steadily increasing attentions as a promising distributed machine learning paradigm, which enables the training of a central model on for numerous decentralized devices without exposing their privacy. However, due to the biased data distributions on involved devices, FL inherently suffers from low classification accuracy in non-IID scenarios. Although various device grouping method have been proposed to address this problem, most of them neglect both i) distinct data distribution characteristics of heterogeneous devices, and ii) contributions and hazards of local models, which are extremely important in determining the quality of global model aggregation. In this paper, we present an effective FL method named FedEntropy with a novel dynamic device grouping scheme, which makes full use of the above two factors based on our proposed maximum entropy judgement heuristic.Unlike existing FL methods that directly aggregate local models returned from all the selected devices, in one FL round FedEntropy firstly makes a judgement based on the pre-collected soft labels of selected devices and then only aggregates the local models that can maximize the overall entropy of these soft labels. Without collecting local models that are harmful for aggregation, FedEntropy can effectively improve global model accuracy while reducing the overall communication overhead. Comprehensive experimental results on well-known benchmarks show that, FedEntropy not only outperforms state-of-the-art FL methods in terms of model accuracy and communication overhead, but also can be integrated into them to enhance their classification performance.

研究动机与目标

• 解决由于设备间统计数据异质性导致的非独立同分布联邦学习中分类准确率低下的挑战。
• 克服现有联邦学习方法将所有设备同等对待、未评估其数据分布特征或模型贡献的局限性。
• 提出一种动态设备分组策略，在聚合前过滤掉有害或低质量的本地模型，以提升全局模型质量。
• 通过减少上传至云端的模型数量，最小化通信开销，同时保持或提升模型准确率。
• 设计一种与现有联邦学习优化器兼容的框架，通过智能设备选择提升其性能。

提出的方法

• 提出两阶段设备分组机制：首先，从选定设备收集软标签；其次，应用最大熵判断，仅选择最具信息量的模型进行聚合。
• 使用熵作为度量指标，量化软标签的信息含量，偏好设备间预测的多样性与代表性。
• 在云端引入正样本设备池与负样本设备池，根据设备的熵贡献对设备进行分类，实现选择性聚合。
• 将选择过程建模为优化问题：选择一组设备，使其联合软标签的熵最大化。
• 通过仅初始上传软标签（通信开销低），随后仅选择性上传能最大化熵的本地模型，确保通信效率。
• 将该方法与现有联邦学习框架（如 FedAvg、FedProx、SCAFFOLD、Moon）集成，以证明其兼容性与性能提升效果。

实验结果

研究问题

• RQ1 最大熵判断是否能有效识别并优先选择在非独立同分布联邦学习设置中对全局模型多样性与准确率贡献最大的本地模型？
• RQ2 与静态或均匀聚合相比，所提出的动态设备分组机制在收敛速度与最终准确率方面表现如何？
• RQ3 FedEntropy 在不降低模型性能的前提下，能在多大程度上减少真实世界非独立同分布数据分布下的通信开销？
• RQ4 基于熵的选择机制能否与现有联邦学习优化器有效结合，以提升其性能？
• RQ5 该方法在不同数据集及不同程度的数据非独立同分布性下表现如何？

主要发现

• 在所有非独立同分布场景下，FedEntropy 在 CIFAR-10、Fashion-MNIST 和 EMNIST 上的测试准确率均高于当前最先进联邦学习方法，部分情况下准确率提升高达10%。
• 在 CIFAR-10 上，FedEntropy 在三种非独立同分布设置下，达到目标准确率水平（30%、50%、50%）所用的通信轮数最少，通信开销最低。
• 当与 FedAvg、FedProx、SCAFFOLD 或 Moon 结合时，FedEntropy 显著提升了其性能——例如，FedAvg+FedEntropy 在相同基准测试中准确率优于 SCAFFOLD。
• 消融实验表明，最大熵判断与正/负设备池机制均对性能提升至关重要，任一组件移除均导致准确率下降。
• 该方法表现出强大的兼容性，将 FedEntropy 集成到现有联邦学习框架中可一致提升分类准确率，且未增加复杂度。
• FedEntropy 的通信开销在第一阶段（软标签上传）可忽略不计，第二阶段最多与 FedAvg 相当，因此在带宽受限环境中依然高效。