[论文解读] FedMix: Approximation of Mixup under Mean Augmented Federated Learning

Tehrim Yoon, Sumin Shin+2 more|arXiv (Cornell University)|Jul 1, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用 67

一句话总结

FedMix 在 Mean Augmented Federated Learning (MAFL) 框架内对全局 Mixup 进行近似，使仅使用平均数据就能进行数据增强，从而在保护隐私的同时提升非 IID 联邦学习的性能。

ABSTRACT

Federated learning (FL) allows edge devices to collectively learn a model without directly sharing data within each device, thus preserving privacy and eliminating the need to store data globally. While there are promising results under the assumption of independent and identically distributed (iid) local data, current state-of-the-art algorithms suffer from performance degradation as the heterogeneity of local data across clients increases. To resolve this issue, we propose a simple framework, Mean Augmented Federated Learning (MAFL), where clients send and receive averaged local data, subject to the privacy requirements of target applications. Under our framework, we propose a new augmentation algorithm, named FedMix, which is inspired by a phenomenal yet simple data augmentation method, Mixup, but does not require local raw data to be directly shared among devices. Our method shows greatly improved performance in the standard benchmark datasets of FL, under highly non-iid federated settings, compared to conventional algorithms.

研究动机与目标

• 在数据异构（非 IID）与隐私约束条件下推动联邦学习的研究。
• 引入 MAFL 作为一个框架，在交换模型参数的同时交换平均数据。
• 开发 FedMix，通过对泰勒展开在 lambda << 1 的假设下，仅使用平均数据来近似全局 Mixup。
• 在标准 FL 基准测试上，特别是在非 IID 设置中，相较于 FedAvg 和 FedProx 展示经验性提升。

提出的方法

• 定义 MAFL，使客户端除了交换模型参数外，还交换平均数据。
• 提出 NaiveMix 作为本地数据与外部平均数据之间的基线 Mixup。
• 通过对全局 Mixup 损失在 lambda << 1 处进行泰勒展开、仅使用平均数据来近似，Develop FedMix。
• 证明 FedMix 损失简化为一个包含本地数据和外部平均值的表达式，加上一个关于外部均值的梯度项。
• 在 FEMNIST、CIFAR-10、CIFAR-100 和 Shakespeare 上进行评估，以与 FedAvg、FedProx 及 Local/NaiveMix 变体进行比较。

实验结果

研究问题

• RQ1 跨客户端对数据进行平均（MAFL）是否能在不共享原始数据的情况下提升在非 IID 数据下的模型性能？
• RQ2 FedMix 使用仅平均数据在多大程度上能有效地近似全局 Mixup 的效果？
• RQ3 MAFL 参数（如 M_k、lambda）对隐私、通信和准确率的影响如何？
• RQ4 在多样的非 IID 场景和数据集上，FedMix 是否始终优于基线 FL 方法？

主要发现

• 在非 IID 设置下，FedMix 在 FEMNIST、CIFAR-10 和 CIFAR-100 上比 FedAvg、FedProx、LocalMix 和 NaiveMix 实现更高的准确率和更快的收敛。
• FedMix 对日益增大的异质性表现出强鲁棒性，包括每轮参与客户端数量较少的情形。
• 在 Shakespeare（语言数据）中，MAFL 变体优于基线，尽管全局 Mixup 并非始终优越。
• 改变 M_k（平均数据量）对性能影响有限，暗示了有效的隐私保护性平均。
• 在多次实验中，FedMix 即使与 FedProx 变体结合 Mixup 策略比较也更优。
• 该方法在隐私方面优于全局 Mixup，同时实现了具竞争力或更高的准确性。