[论文解读] Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning

Wenkai Yang, Deli Chen+4 more|arXiv (Cornell University)|Jan 25, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种新颖的联邦长尾学习方法，通过结合本地真实数据与全局梯度原型，在本地训练期间重新平衡分类器，同时引入双分类器架构以解决冲突的优化目标。该方法在无需额外数据或服务器端平衡数据集的情况下，在多个基准测试中实现了最先进性能。

ABSTRACT

Federated Learning (FL) has become a popular distributed learning paradigm that involves multiple clients training a global model collaboratively in a data privacy-preserving manner. However, the data samples usually follow a long-tailed distribution in the real world, and FL on the decentralized and long-tailed data yields a poorly-behaved global model severely biased to the head classes with the majority of the training samples. To alleviate this issue, decoupled training has recently been introduced to FL, considering it has achieved promising results in centralized long-tailed learning by re-balancing the biased classifier after the instance-balanced training. However, the current study restricts the capacity of decoupled training in federated long-tailed learning with a sub-optimal classifier re-trained on a set of pseudo features, due to the unavailability of a global balanced dataset in FL. In this work, in order to re-balance the classifier more effectively, we integrate the local real data with the global gradient prototypes to form the local balanced datasets, and thus re-balance the classifier during the local training. Furthermore, we introduce an extra classifier in the training phase to help model the global data distribution, which addresses the problem of contradictory optimization goals caused by performing classifier re-balancing locally. Extensive experiments show that our method consistently outperforms the existing state-of-the-art methods in various settings.

研究动机与目标

• 解决联邦学习中因长尾数据分布导致模型对头部类别产生偏差的挑战。
• 克服现有解耦训练方法在联邦学习中的局限性，这些方法依赖伪特征且缺乏真实平衡数据。
• 在本地训练期间实现有效的分类器重新平衡，同时不损害全局表示学习能力。
• 在保护数据隐私的同时，提升所有类别（尤其是尾部类别）的模型泛化能力。
• 通过利用本地真实数据与服务器发送的全局梯度原型，消除对公开平衡数据集的依赖。

提出的方法

• 通过将本地真实数据与服务器发送的全局梯度原型混合，构建本地平衡数据集，以覆盖缺失类别。
• 使用这些混合数据集在本地执行分类器重新平衡，以提升尾部类别的性能。
• 引入双流分类器架构，并通过辅助分类器建模全局数据分布，以解决表示学习与分类器重新平衡之间的冲突优化目标。
• 使用重新平衡因子 λ 控制分类器重新平衡的强度，实现收敛速度与泛化能力之间的权衡。
• 利用客户端真实数据生成可靠的梯度用于重新平衡，设置阈值 T 以确保每类数据充足。
• 通过 FedAvg 训练全局模型，同时使用结合表示学习与重新平衡的多任务学习目标更新分类器。

Figure 1: The full illustration of our method. We add a new global classifier $\widehat{\boldsymbol{W}}$ , and perform the instance-balanced training on the whole network (including the encoder and the two classifiers). Furthermore, we propose a novel algorithm to re-balance the original classifier

实验结果

研究问题

• RQ1 能否有效结合本地真实数据与全局梯度原型，以在联邦学习中为分类器重新平衡构建可靠的本地平衡数据集？
• RQ2 与仅依赖全局梯度原型相比，引入本地真实数据对分类器重新平衡性能有何影响？
• RQ3 双分类器架构是否能缓解联邦设置中表示学习与分类器重新平衡之间的冲突？
• RQ4 调整重新平衡强度 λ 时，收敛速度与模型泛化能力之间的最优权衡是什么？
• RQ5 所提出方法是否在长尾和二元类别不平衡设置下均优于现有最先进方法？

主要发现

• 在 CIFAR-10-LT（IR=100）上，该方法实现 96.86% 的 top-1 准确率与 79.88% 的 top-5 准确率，优于所有基线方法。
• 在 ImageNet-1000-LT（IR=100）上，该方法实现 96.43% 的 top-1 准确率与 73.31% 的 top-5 准确率，创下新最先进记录。
• 在二元类别不平衡设置（IR=100）下，该方法在 MNIST 上实现 96.86% 的 top-1 准确率，在 CIFAR-10 上实现 96.43% 的 top-1 准确率，优于 CReFF 与 FedAvg。
• 当移除本地真实数据（T=∞）时，性能显著下降，证实其在可靠梯度估计中的关键作用。
• 较小的重新平衡因子 λ 导致收敛更慢但最终泛化能力更好，表明优化过程中存在明确的权衡。
• 无论在完整还是部分客户端参与的设置下，该方法在所有评估场景中均持续优于 CReFF、FedAvg 及其他基线方法。

Figure 2: The test accuracy curves on CIFAR-10-LT with $\text{IR}=100$ under the full client participation setting. Our method achieves faster convergence speed and better performance than all existing baselines.