[论文解读] Fed-GraB: Federated Long-tailed Learning with Self-Adjusting Gradient Balancer

Zikai Xiao, Zihan Chen+8 more|arXiv (Cornell University)|Oct 11, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

Fed-GraB 提出了一种自适应梯度平衡器（SGB），用于联邦长尾学习，通过使用来自直接先验分析器（DPA）的全局长尾先验，动态重加权客户端的梯度，从而在不损害多数类准确率的前提下提升少数类性能。该方法在保护隐私的联邦设置下，在 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 和 iNaturalist 上均取得了最先进性能。

ABSTRACT

Data privacy and long-tailed distribution are the norms rather than the exception in many real-world tasks. This paper investigates a federated long-tailed learning (Fed-LT) task in which each client holds a locally heterogeneous dataset; if the datasets can be globally aggregated, they jointly exhibit a long-tailed distribution. Under such a setting, existing federated optimization and/or centralized long-tailed learning methods hardly apply due to challenges in (a) characterizing the global long-tailed distribution under privacy constraints and (b) adjusting the local learning strategy to cope with the head-tail imbalance. In response, we propose a method termed $ exttt{Fed-GraB}$, comprised of a Self-adjusting Gradient Balancer (SGB) module that re-weights clients' gradients in a closed-loop manner, based on the feedback of global long-tailed distribution evaluated by a Direct Prior Analyzer (DPA) module. Using $ exttt{Fed-GraB}$, clients can effectively alleviate the distribution drift caused by data heterogeneity during the model training process and obtain a global model with better performance on the minority classes while maintaining the performance of the majority classes. Extensive experiments demonstrate that $ exttt{Fed-GraB}$ achieves state-of-the-art performance on representative datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist.

研究动机与目标

• 为解决在客户端持有非独立同分布（non-IID）长尾数据分布但不暴露私有数据的情况下，训练鲁棒全局模型的挑战。
• 克服现有方法在隐私约束下因缺乏全局先验知识而导致的难以平衡尾部类别性能的局限性。
• 设计一种本地训练策略，协同提升联邦长尾学习中头部类与尾部类的性能。
• 实现无需手动调参的动态、闭环梯度重加权，以适应全局类别不平衡。

提出的方法

• 引入直接先验分析器（DPA）模块，从聚合的客户端梯度中估计全局长尾类别分布，实现隐私保护下的全局先验推断。
• 提出自适应梯度平衡器（SGB），采用闭环控制机制，基于来自全局先验的反馈来重加权本地梯度。
• 采用类似 PID 的控制策略，利用误差信号 Δ(t) − z(t) 计算重加权系数 β，其中 Δ(t) 衡量类别不平衡程度，z(t) 为目标参考值。
• 采用反馈机制，根据当前不平衡与目标不平衡之间的差异更新 Δ(t)，实现在训练过程中自适应的梯度再平衡。
• 将 SGB 集成到每个客户端的本地训练循环中，实现对梯度贡献的实时调整，以减少分布漂移。
• 结合梯度重加权的联邦平均方法，确保全局模型收敛的同时保持类别特定的性能。

Figure 1: (a): An illustration of the Fed-GraB framework, in which SGB is mounted on all classes of each client based on the prior vector $\mathcal{P}_{c}$ derived by the DPA module, ensuring federated balanced local training; (b): Comparison for the difference of positive and negative gradients.

实验结果

研究问题

• RQ1 在联邦学习中，如何在不直接共享数据的情况下，以隐私保护方式估计全局长尾类别统计？
• RQ2 如何动态重加权本地梯度更新，以提升少数类性能而不降低多数类准确率？
• RQ3 闭环控制机制是否能有效平衡具有异构性且可能非长尾分布的本地数据的客户端间梯度？
• RQ4 所提出方法对不同程度的全局数据不平衡和客户端级数据异质性具有多强的鲁棒性？
• RQ5 不同控制参数（KP、KI、KD）对梯度平衡机制的稳定性与性能有何影响？

主要发现

• Fed-GraB 在 CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT 和 iNaturalist 上均取得了最先进性能，显著提升了尾部类别准确率，同时保持了头部类性能。
• 直接先验分析器（DPA）能有效从客户端梯度中推断出全局长尾先验，实现无数据泄露的准确全局不平衡估计。
• 自适应梯度平衡器（SGB）降低了客户端间的性能方差，并缓解了由数据异质性引起的数据分布漂移。
• 消融实验表明，SGB 的闭环控制机制对不同目标值 z(t) 具有鲁棒性，初始化偏差影响极小。
• SGB 在不平衡因子从 5 到 50 的范围内表现出强大泛化能力，且在高度不平衡设置下获得更大性能增益。
• SGB 的计算与存储开销极低，与 Adam 等标准优化方法相当，具备实际部署的可行性。

Figure 2: An example of the global and local distributions of CIFAR-10-LT (Left) and CIFAR-100-LT (Right) under non-IID setting. The bar on the top demonstrates the sorted global long-tailed distribution. Each row represents the diverse statistics of class imbalance of each client.