[论文解读] A Simple Data Augmentation for Feature Distribution Skewed Federated Learning

Yunlu Yan, Fu, Huazhu+5 more|arXiv (Cornell University)|Jun 14, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出FedRDN，一种在特征分布偏移条件下适用于联邦学习的简单而有效的数据增强方法。通过在增强过程中随机注入来自多个客户端的全局统计特征（均值与标准差）到本地数据中，FedRDN增强了特征泛化能力并缓解了领域偏移问题，在多种联邦学习基准测试中显著提升了性能，且计算开销极低。

ABSTRACT

Federated Learning (FL) facilitates collaborative learning among multiple clients in a distributed manner and ensures the security of privacy. However, its performance inevitably degrades with non-Independent and Identically Distributed (non-IID) data. In this paper, we focus on the feature distribution skewed FL scenario, a common non-IID situation in real-world applications where data from different clients exhibit varying underlying distributions. This variation leads to feature shift, which is a key issue of this scenario. While previous works have made notable progress, few pay attention to the data itself, i.e., the root of this issue. The primary goal of this paper is to mitigate feature shift from the perspective of data. To this end, we propose a simple yet remarkably effective input-level data augmentation method, namely FedRDN, which randomly injects the statistical information of the local distribution from the entire federation into the client's data. This is beneficial to improve the generalization of local feature representations, thereby mitigating feature shift. Moreover, our FedRDN is a plug-and-play component, which can be seamlessly integrated into the data augmentation flow with only a few lines of code. Extensive experiments on several datasets show that the performance of various representative FL methods can be further improved by integrating our FedRDN, demonstrating its effectiveness, strong compatibility and generalizability. Code will be released.

研究动机与目标

• 为解决联邦学习中常见的但尚未被充分探索的特征分布偏移问题，该问题在现实世界联邦学习部署中普遍存在。
• 探究输入级数据增强是否能有效缓解由本地数据分布偏移引起的特征偏移问题。
• 开发一种通用、非参数化且保护隐私的数据增强技术，可无缝集成至现有联邦学习流程中。
• 在不修改模型架构的前提下，提升异构客户端本地模型的泛化能力和鲁棒性。
• 在多种数据集和联邦学习框架中展示其可扩展性与有效性。

提出的方法

• FedRDN提出一种新颖的数据增强策略，即从所有客户端的本地数据集中随机采样全局统计特征（均值与标准差）。
• 在训练过程中，每个客户端使用联邦中随机选取的一对全局统计量（μ, σ）进行改进的归一化处理，而非使用自身的本地统计量。
• 该过程作为即插即用的组件集成在数据增强流程中，仅需少量代码即可完成集成。
• 该方法为非参数化，计算与通信开销可忽略不计，因为仅需在客户端之间交换统计摘要信息。
• 增强操作在模型前向传播之前以输入级方式应用，通过提升数据多样性，有效缓解分布偏移问题。
• FedRDN采用对全局统计量的随机采样策略，确保每个客户端在训练过程中能接触到更广泛的潜在数据分布。

实验结果

研究问题

• RQ1 输入级数据增强是否能有效缓解联邦学习中的特征分布偏移问题？
• RQ2 一种简单、非参数化的数据增强方法是否能提升在数据分布偏移客户端上的模型泛化能力？
• RQ3 将全局统计特征注入本地数据会对联邦学习中模型的收敛性和性能产生何种影响？
• RQ4 FedRDN在不同本地训练轮次和数据异构性水平下是否具备鲁棒性？
• RQ5 在真实世界数据偏移条件下，FedRDN是否优于FedMix和FedFA等现有方法，以应对特征偏移问题？

主要发现

• 在Office-Caltech-10数据集上，FedRDN显著提升性能，在DSLR→Amazon跨站点迁移任务中达到87.50%的准确率，比FedAvg高出18.75个百分点。
• 在DomainNet数据集上，FedRDN将FedAvg的准确率从42.32%提升至43.55%，在多样化领域中表现出一致的性能提升。
• 在ProstateMRI基准测试中，FedRDN将准确率从90.02%提升至92.32%，显示出在医学影像任务中强大的泛化能力。
• FedRDN在跨站点泛化方面优于FedAvg、FedMix和FedFA，所有客户端-目标组合均表现出一致的性能增益。
• 消融实验表明，使用固定全局统计量而非随机采样的FedRDN-V方法，性能最高低8.3个百分点，证明了随机增强的重要性。
• T-SNE可视化结果表明，与FedAvg相比，FedRDN能生成更一致且偏差更小的特征分布，跨客户端更具一致性。