[论文解读] Eliminating Domain Bias for Federated Learning in Representation Space

Jianqing Zhang, Hua Yang+6 more|arXiv (Cornell University)|Nov 25, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种名为领域偏置消除器（Domain Bias Eliminator, DBE）的新颖联邦学习框架，通过将客户端特定的表征偏置解耦为个性化记忆，并通过均值正则化强制实现共享全局均值，从而在数据异质性环境下缓解表征偏置与退化问题。DBE 同时提升了泛化能力和个性化性能，相较于最先进个性化联邦学习方法，准确率最高提升 11.36%，表征复杂度（MDL）最高降低 22.35%。

ABSTRACT

Recently, federated learning (FL) is popular for its privacy-preserving and collaborative learning abilities. However, under statistically heterogeneous scenarios, we observe that biased data domains on clients cause a representation bias phenomenon and further degenerate generic representations during local training, i.e., the representation degeneration phenomenon. To address these issues, we propose a general framework Domain Bias Eliminator (DBE) for FL. Our theoretical analysis reveals that DBE can promote bi-directional knowledge transfer between server and client, as it reduces the domain discrepancy between server and client in representation space. Besides, extensive experiments on four datasets show that DBE can greatly improve existing FL methods in both generalization and personalization abilities. The DBE-equipped FL method can outperform ten state-of-the-art personalized FL methods by a large margin. Our code is public at https://github.com/TsingZ0/DBE.

研究动机与目标

• 识别并解决在统计异质性条件下联邦学习中表征偏置与逐层表征退化的问题。
• 提升现有联邦学习方法在非独立同分布（non-IID）数据场景下的泛化与个性化性能。
• 通过将本地表征与全局均值对齐，实现在服务器与客户端之间双向知识迁移。
• 提供一种通用、即插即用的框架，兼容现有联邦学习方法，包括 FedAvg。
• 在视觉与自然语言处理基准上，通过实证验证 DBE 相较于最先进个性化联邦学习方法的优越性。

提出的方法

• DBE 引入个性化表征偏置记忆（Personalized Representation Bias Memory, PRBM），在每个客户端上存储并隔离客户端特定的表征偏置。
• 通过均值正则化（Mean Regularization, MR）指导本地特征提取器在本地训练过程中生成围绕共享全局均值的表征。
• 该方法将表征空间划分为两个层次：与客户端无关的全局均值和与客户端相关的偏置，从而降低表征学习中的冲突。
• DBE 在本地训练中集成，无需修改模型聚合过程，从而保持隐私性和通信效率。
• 通过最小描述长度（Minimum Description Length, MDL）衡量表征质量，该指标与模型和数据无关。
• 理论分析表明，DBE 可降低泛化界，并实现服务器与客户端之间的双向知识迁移。

实验结果

研究问题

• RQ1 在统计异质性条件下，联邦学习中本地训练期间表征偏置如何产生？
• RQ2 通过将客户端特定偏置与通用表征解耦，表征退化能在多大程度上被缓解？
• RQ3 在表征空间中强制实现共享全局均值，是否能同时提升联邦学习中的泛化与个性化性能？
• RQ4 DBE 在准确率与表征质量方面相较于最先进个性化联邦学习方法表现如何？
• RQ5 DBE 在多样化数据分布下（包括真实世界物联网与移动传感场景）是否保持性能？

主要发现

• 与 FedAvg 相比，DBE 将表征复杂度（MDL）最高降低 22.35%，表明通用表征质量得到提升。
• FedAvg+DBE 的准确率最高比 FedAvg 提高 32.30%，显著提升了个性化性能。
• 在多个基准测试中，FedAvg+DBE 相较于十种最先进个性化联邦学习方法，测试准确率最高提升 11.36%。
• 在 HAR 数据集上，FedAvg+DBE 达到 94.53% 的准确率，超过 APFL（92.18%）和 FedFomo（63.39%）等先进方法。
• 在高数据异质性（如 Dirichlet 分布 β=0.01）和大量本地训练轮次下，该框架仍保持优异性能，表现出强鲁棒性。
• t-SNE 可视化结果证实，DBE 减少了客户端特定的聚类现象，并提升了表征空间中的类别可分性。