[论文解读] FedBR: Improving Federated Learning on Heterogeneous Data via Local Learning Bias Reduction

Yongxin Guo, Xiaoying Tang+1 more|arXiv (Cornell University)|May 26, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

FedBR 是一种新颖的联邦学习框架，通过利用与标签无关的伪数据以及两个关键组件，在数据异构设置下减少了本地学习偏差：(1) 输出分布平衡以校正有偏差的本地分类器；(2) 最小-最大对比学习以将本地特征与全局表征对齐。该方法在极低通信开销下显著优于当前最先进（SOTA）的联邦学习方法，且无需使用标注数据或大规模伪数据。

ABSTRACT

Federated Learning (FL) is a way for machines to learn from data that is kept locally, in order to protect the privacy of clients. This is typically done using local SGD, which helps to improve communication efficiency. However, such a scheme is currently constrained by slow and unstable convergence due to the variety of data on different clients' devices. In this work, we identify three under-explored phenomena of biased local learning that may explain these challenges caused by local updates in supervised FL. As a remedy, we propose FedBR, a novel unified algorithm that reduces the local learning bias on features and classifiers to tackle these challenges. FedBR has two components. The first component helps to reduce bias in local classifiers by balancing the output of the models. The second component helps to learn local features that are similar to global features, but different from those learned from other data sources. We conducted several experiments to test \algopt and found that it consistently outperforms other SOTA FL methods. Both of its components also individually show performance gains. Our code is available at https://github.com/lins-lab/fedbr.

研究动机与目标

• 为解决由于客户端间数据异构性导致联邦学习收敛缓慢且不稳定的挑战。
• 识别并系统分析本地学习偏差的三个未被充分探索的陷阱：有偏差的分类器、发散的本地特征以及模糊的特征表征。
• 开发一种统一的、保护隐私的方法，以减少本地学习偏差，且无需使用标注数据或大规模伪数据。
• 提升在非独立同分布（non-IID）数据分布下客户端的收敛稳定性和模型性能。
• 在保持高模型准确率的同时，最小化通信与计算开销。

提出的方法

• FedBR 使用一个全局共享的、与标签分布无关的伪数据集来指导本地模型训练，同时不暴露原始客户端数据。
• 第一部分通过在伪数据上平衡模型的输出分布，以减少本地分类器中的偏差。
• 第二部分采用最小-最大对比学习目标，将本地特征与全局特征对齐，同时与其它客户端的本地特征分离。
• 设计了一种两阶段算法：首先学习一个投影空间以区分全局特征与本地特征；其次，优化特征使其更接近全局表征，同时远离其他客户端的本地表征。
• 该方法可无缝集成到 FedAvg 中，仅需在训练开始时传输一次小批量伪数据（MNIST 为 64，其余为 32）。
• 框架采用轻量级的三层多层感知机（MLP）作为投影头，最大限度减少额外的通信与计算开销。

实验结果

研究问题

• RQ1 在非独立同分布（non-IID）数据下，本地学习偏差（特别是分类器和特征表征中的偏差）如何阻碍联邦学习的收敛？
• RQ2 是否可以设计一种统一方法，无需依赖标注的全局数据，同时减少分类器偏差与特征表征偏差？
• RQ3 在异构联邦学习设置下，小规模、未标注的伪数据集能在多大程度上提升模型泛化能力与收敛性？
• RQ4 在准确率、通信效率以及对数据不平衡的鲁棒性方面，FedBR 与当前最先进（SOTA）联邦学习方法相比表现如何？
• RQ5 FedBR 是否能与其它当前最先进联邦学习算法有效结合，以进一步提升性能？

主要发现

• FedBR 在 RotatedMNIST、CIFAR10 和 CIFAR100 上持续优于 FedAvg 及其他 SOTA 联邦学习方法，在所有数据集上均实现了显著的准确率提升。
• 仅在训练开始时传输一个小型伪数据批次（RotatedMNIST 为 64，CIFAR10/100 为 32）即可达到与完整轮次伪数据传输相当的性能，证明了其极低的通信成本。
• 即使伪数据由不平衡的本地数据分布构建，FedBR 仍能保持强劲性能，展现出对数据质量的强鲁棒性。
• 使用基于混合的伪数据（K=1 或 K=0）仍能带来优于 FedAvg 的性能提升，证实了其在无标注数据下具备隐私保护能力。
• 当与 FedNTD、FedCM 和 FedDecorr 等其他 SOTA 方法集成时，FedBR 显著提升了其性能，表明其具有强大的兼容性与泛化能力。
• 尽管未使用任何标注的共享数据，使用 FedBR 训练的本地模型性能可与 VHL（一种使用标注全局数据的方法）相媲美或超越。