[论文解读] Federated Learning with Label Distribution Skew via Logits Calibration

Jie Zhang, Zhiqi Li+5 more|arXiv (Cornell University)|Sep 1, 2022

Privacy-Preserving Technologies in Data被引用 24

一句话总结

这篇论文分析联邦学习中的标签分布偏斜，并提出 FedLC，一种基于 logits 校准的损失，用以减轻来自局部数据偏斜的偏差并提升全局模型性能。

ABSTRACT

Traditional federated optimization methods perform poorly with heterogeneous data (ie, accuracy reduction), especially for highly skewed data. In this paper, we investigate the label distribution skew in FL, where the distribution of labels varies across clients. First, we investigate the label distribution skew from a statistical view. We demonstrate both theoretically and empirically that previous methods based on softmax cross-entropy are not suitable, which can result in local models heavily overfitting to minority classes and missing classes. Additionally, we theoretically introduce a deviation bound to measure the deviation of the gradient after local update. At last, we propose FedLC ( extbf {Fed} erated learning via extbf {L} ogits extbf {C} alibration), which calibrates the logits before softmax cross-entropy according to the probability of occurrence of each class. FedLC applies a fine-grained calibrated cross-entropy loss to local update by adding a pairwise label margin. Extensive experiments on federated datasets and real-world datasets demonstrate that FedLC leads to a more accurate global model and much improved performance. Furthermore, integrating other FL methods into our approach can further enhance the performance of the global model.

研究动机与目标

• 调查客户端标签分布偏斜如何影响本地更新的偏差并损害 FL 的全局模型。
• 对在偏斜情形下 softmax 交叉熵的理论与经验局限性进行研究。
• 提出一个经过校准的交叉熵损失（FedLC），以对抗 FL 中的类别不平衡和缺失类别。
• 表明 FedLC 在多样的非 IID 设置和数据集上提升全局准确率。
• 探索将 FedLC 与其他 FL 方法结合以进一步提升性能。

提出的方法

• 定义标签分布偏斜并将类别分为多数类、少数类和缺失类。
• 引入一个偏差界来量化在偏斜下本地更新后的梯度偏差。
• 通过基于类别先验对对数进行每类别边际校准来导出一个经校准的交叉熵损失。
• 给出一个最优成对边距公式 Delta(y,i) = tau*(ny^{-1/4} - ni^{-1/4}) 及相应的校准损失。
• 分析校准如何影响偏差界并在训练中降低局部偏差。
• 在基于数量和基于分布的偏斜下，实证验证 FedLC 在联邦和真实世界数据集上的有效性。

实验结果

研究问题

• RQ1 客户端标签分布偏斜如何影响本地更新的偏差以及全局 FL 目标？
• RQ2 在偏斜下，为什么标准的 softmax 交叉熵可能不合适，如何通过 logits 校准来帮助？
• RQ3 带成对边距的经校准交叉熵是否能提升少数类和缺失类的性能以及整体全局准确性？
• RQ4 将 FedLC 与现有的 FL 方法整合时的相互作用以及实际增益如何？
• RQ5 针对提出的校准方法有哪些理论保证（偏差界）？

主要发现

• FedLC 在 CIFAR10/100、SVHN、ImageNet-subset 和 FEMNIST 的标签偏斜场景下持续优于最先进的 FL 方法。
• 校准降低本地更新中的偏差，提升少数类和缺失类的准确性并稳定聚合。
• 经校准的损失引入了对每个类别的边距，强调劣势类别，从而对少数/缺失类别给出更大边距。
• 理论结果显示有偏差界，并且校准在本地更新后减小梯度偏差。
• 实验在数量基和分布基偏斜下均显示出显著的准确率提升，随着偏斜度增加。
• 将 FedLC 与其他 FL 方法结合可带来进一步的性能提升。