[论文解读] Federated Skewed Label Learning with Logits Fusion

Yuwei Wang, Runhan Li+6 more|arXiv (Cornell University)|Nov 14, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出 FedBalance，一种新型联邦学习框架，通过在每个客户端融合本地强模型与私有弱学习器的 logits 来缓解标签分布偏移问题。通过 logits 融合校准优化过程，FedBalance 降低了对少数类别的误分类率，并将全局模型准确率提升至最先进方法的 13% 以上。

ABSTRACT

Federated learning (FL) aims to collaboratively train a shared model across multiple clients without transmitting their local data. Data heterogeneity is a critical challenge in realistic FL settings, as it causes significant performance deterioration due to discrepancies in optimization among local models. In this work, we focus on label distribution skew, a common scenario in data heterogeneity, where the data label categories are imbalanced on each client. To address this issue, we propose FedBalance, which corrects the optimization bias among local models by calibrating their logits. Specifically, we introduce an extra private weak learner on the client side, which forms an ensemble model with the local model. By fusing the logits of the two models, the private weak learner can capture the variance of different data, regardless of their category. Therefore, the optimization direction of local models can be improved by increasing the penalty for misclassifying minority classes and reducing the attention to majority classes, resulting in a better global model. Extensive experiments show that our method can gain 13\% higher average accuracy compared with state-of-the-art methods.

研究动机与目标

• 解决客户端间标签分布偏移导致的联邦学习性能下降问题。
• 使本地模型优化目标与全局模型对齐，尤其针对少数类和缺失类别。
• 在不共享原始数据的前提下提升本地模型的泛化能力与可靠性。
• 在数据异构条件下提升通信效率，同时保持高准确率。

提出的方法

• 在每个客户端引入一个私有弱学习器，以捕捉数据方差，尤其针对类别不平衡情况。
• 融合本地强模型与私有弱学习器的 logits，以指导本地模型更新。
• 利用 logits 融合增加对少数类别误分类的惩罚，减少对多数类别的过拟合。
• 采用知识蒸馏原理，使本地模型优化与全局目标对齐。
• 通过使用轻量级弱学习器（如 LeNet）保持最小计算开销。
• 通过优化对齐提升收敛速度，通信轮次最多减少 3.33 倍。

实验结果

研究问题

• RQ1 本地强模型与私有弱学习器之间的 logits 融合是否能减少在标签偏移联邦学习中对少数类别的误分类？
• RQ2 集成弱学习器如何改善类别不平衡数据下客户端间的优化对齐？
• RQ3 FedBalance 在不增加计算成本的前提下，能在多大程度上提升通信效率？
• RQ4 在标签偏移条件下，该方法是否在平均准确率与各类别准确率上均优于最先进基线方法？

主要发现

• 在具有标签偏移的基准数据集上，FedBalance 的平均准确率比最先进方法高出 13%。
• 客户端间模型方差减小，表现为各类别准确率图中最小的阴影置信区间。
• 与 FedAvg 相比，FedBalance 的收敛速度提升 3.33 倍，仅需 30 轮即可达到 FedAvg 100 轮的性能。
• 使用 LeNet 作为弱学习器仅增加 0.05% 的计算成本，表明开销极低。
• 集成模型与本地模型输出之间的 KL 散度降至 1.95e-05，表明对齐性强且优化引导有效。
• 消融实验表明，直接概率融合（如 softmax）无法主导本地模型输出，而 logits 融合能保持模型完整性并提升性能。