[论文解读] FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data

Tailin Zhou, Jun Zhang+1 more|arXiv (Cornell University)|Nov 17, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

FedFA 提出了一种新颖的联邦学习框架，通过使用特征锚点同时对齐客户端特征并校准分类器，打破了在数据异构性下特征不一致与分类器发散之间的恶性循环。该方法在标签分布偏移和特征分布偏移的图像分类基准上实现了最先进性能，通过联合优化特征与分类器，准确率提升最高达22.37%。

ABSTRACT

Federated learning allows multiple clients to collaboratively train a model without exchanging their data, thus preserving data privacy. Unfortunately, it suffers significant performance degradation due to heterogeneous data at clients. Common solutions involve designing an auxiliary loss to regularize weight divergence or feature inconsistency during local training. However, we discover that these approaches fall short of the expected performance because they ignore the existence of a vicious cycle between feature inconsistency and classifier divergence across clients. This vicious cycle causes client models to be updated in inconsistent feature spaces with more diverged classifiers. To break the vicious cycle, we propose a novel framework named Federated learning with Feature Anchors (FedFA). FedFA utilizes feature anchors to align features and calibrate classifiers across clients simultaneously. This enables client models to be updated in a shared feature space with consistent classifiers during local training. Theoretically, we analyze the non-convex convergence rate of FedFA. We also demonstrate that the integration of feature alignment and classifier calibration in FedFA brings a virtuous cycle between feature and classifier updates, which breaks the vicious cycle existing in current approaches. Extensive experiments show that FedFA significantly outperforms existing approaches on various classification datasets under label distribution skew and feature distribution skew.

研究动机与目标

• 为解决数据异构性导致的联邦学习性能下降问题，特别是标签分布与特征分布偏移问题。
• 识别并解决现有正则化方法受挫的根本原因——特征不一致与分类器发散之间的恶性循环。
• 设计一个统一框架，使客户端在共享特征空间中同时实现特征对齐与分类器校准。
• 证明联合优化特征与分类器可形成良性循环，提升收敛性与泛化能力。
• 在多种数据集与异构性场景（包括极端偏移条件）下验证 FedFA 的有效性。

提出的方法

• 引入特征锚点——每类一个可学习原型——作为共享参考点，用于对齐不同数据分布下的客户端特征。
• 利用特征锚点将客户端特征投影到共享特征空间，减少本地训练过程中的客户端间特征不一致性。
• 通过基于动量的类特定锚点更新实现分类器校准，以对齐客户端间的分类器并减少发散。
• 采用双重优化机制：通过锚点实现特征对齐，通过动量实现分类器校准，从而在特征与分类器更新之间形成良性循环。
• 将特征锚点更新与改进的 FedAvg 算法集成，其中锚点在每轮通信中使用客户端梯度进行更新。
• 通过确保特征提取器与分类器均基于相同的锚基参考空间进行更新，维持框架的一致性。

实验结果

研究问题

• RQ1 特征不一致与分类器发散的共存是否构成自我强化的恶性循环，从而降低联邦学习性能？
• RQ2 通过共享特征锚点实现联合特征对齐与分类器校准，能否打破该恶性循环并提升模型收敛性与准确率？
• RQ3 FedFA 对超参数（如锚点更新的动量系数与锚点初始化）的敏感性如何？
• RQ4 在训练过程中早期且持续地进行分类器校准，是否优于训练后校准？
• RQ5 FedFA 是否能泛化到多种数据异构性场景，包括极端的标签与特征分布偏移？

主要发现

• 在存在标签与特征分布偏移的多个数据集上，FedFA 显著优于 FedAvg 及其他最先进方法，当两种偏移同时存在时，准确率最高提升达 22.37%。
• 分类器校准对性能提升贡献最大，在联合偏移情况下实现 22.37% 的准确率增益，凸显其在缓解发散问题中的关键作用。
• 框架对锚点更新的动量系数具有鲁棒性，性能在广泛取值范围内保持稳定。
• 特征锚点的初始化对长期性能影响极小，因为锚点更新能快速弥合初始差异，确保稳定收敛。
• 在每个小批量训练结束时进行分类器校准可获得最佳性能，表明早期且持续地纠正分类器发散至关重要。
• 在训练中进行校准的 FedFA 在 FMNIST 上达到 84.90% 的准确率（#C=2 且存在标签偏移），优于无校准的 FedFA（76.81%）与使用训练后校准的 FedAvg（75.95%）。