[论文解读] Fed-Focal Loss for imbalanced data classification in Federated Learning

Dipankar Sarkar, Ankur Narang+1 more|arXiv (Cornell University)|Nov 12, 2020

Privacy-Preserving Technologies in Data参考文献 15被引用 34

一句话总结

本论文提出 Fed-Focal Loss 以应对联邦学习中的类别不平衡，通过对易样本下调权重、提升难样本的优先级，结合一个可调的客户端采样框架以提高在非 IID 设置下的鲁棒性；实验在 MNIST、FEMNIST、VSN 和 HAR 上显示改进，在不平衡的 MNIST 上实现了超过 9% 的绝对增益。

ABSTRACT

The Federated Learning setting has a central server coordinating the training of a model on a network of devices. One of the challenges is variable training performance when the dataset has a class imbalance. In this paper, we address this by introducing a new loss function called Fed-Focal Loss. We propose to address the class imbalance by reshaping cross-entropy loss such that it down-weights the loss assigned to well-classified examples along the lines of focal loss. Additionally, by leveraging a tunable sampling framework, we take into account selective client model contributions on the central server to further focus the detector during training and hence improve its robustness. Using a detailed experimental analysis with the VIRTUAL (Variational Federated Multi-Task Learning) approach, we demonstrate consistently superior performance in both the balanced and unbalanced scenarios for MNIST, FEMNIST, VSN and HAR benchmarks. We obtain a more than 9% (absolute percentage) improvement in the unbalanced MNIST benchmark. We further show that our technique can be adopted across multiple Federated Learning algorithms to get improvements.

研究动机与目标

• 在具有非 IID 客户端数据的情形下解决联邦学习中的全局类别不平衡。
• 引入 Fed-Focal Loss，用于下调已良好分类的样本权重并聚焦于困难样本。
• 纳入一个可调的客户端采样框架，以对贡献客户端进行加权。
• 在平衡和不平衡条件下，在 MNIST、FEMNIST、VSN 和 HAR 上展示改进。

提出的方法

• 将 Fed-Focal Loss 定义为带有 alpha 和 gamma 的加权 focal loss 变体，用于平衡类别并聚焦于困难样本（epsilon_FL(p_t) = -alpha(1-p_t)^gamma log(p_t)）。
• 将 Fed-Focal Loss 与一个可调的客户端采样机制结合，使用验证损失来优先选择贡献客户端（psi 控制选择偏差）。
• 在平衡与不平衡数据分布下，将 VIRTUAL（variational federated multi-task learning）作为实验 backbone 进行评估。
• 对客户端采样比率（psi）和 focal-loss 的超参数（gamma、alpha）进行消融研究，以评估鲁棒性与收敛性。
• 在 MNIST、Sampled-FEMNIST、VSN 和 HAR 数据集上，采用 MLP 架构，默认每轮 0.10 的客户端参与度进行评估。

实验结果

研究问题

• RQ1 在具有不平衡且非 IID 数据的联邦学习中，Fed-Focal Loss 是否能提升相较于标准交叉熵的准确率？
• RQ2 在 Fed-Focal Loss 下，可调的客户端采样策略如何影响全局模型性能与收敛？
• RQ3 Fed-Focal Loss 的增益是否在不同的联邦数据集（MNIST、FEMNIST、VSN、HAR）及不同数据分布下具有鲁棒性？
• RQ4 超参数 gamma、alpha 和 psi 对性能与稳定性的影响是什么？

主要发现

• Fed-Focal Loss 在所有测试数据集上，在平衡与不平衡的联邦设置中均相对于 CE 提供一致的性能提升。
• 在不平衡的 MNIST 上，Fed-Focal Loss 实现了超过 9% 的绝对准确率提升。
• 结合 VIRTUAL 的 Fed-Focal Loss 在 IID 与强非 IID 场景下均保持顶尖性能，在 Sampled-FEMNIST 和 HAR 上优于其他方法。
• 消融研究显示，psi 约为 0.6–0.8、gamma 约为 2.0 时取得最佳结果；在不平衡的 MNIST 中，较小的 gamma 值有帮助。
• Fed-Focal Loss 还表现出比标准 CE 更平滑的收敛与更好的训练稳定性。