[论文解读] Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments

Reza Nasirigerdeh, M. Bakhtiari+5 more|arXiv (Cornell University)|Nov 13, 2020

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出联邦多小批量（FedMMB）这一新型联邦学习方法，通过将小批量大小与本地更新次数解耦，实现对本地更新和小批量大小的独立控制。在非独立同分布（Non-IID）设置下，FedMMB通过优化本地训练实现更有效的模型收敛，从而在保持通信效率的同时，实现比FedAvg更高的准确率。

ABSTRACT

Federated learning has faced performance and network communication challenges, especially in the environments where the data is not independent and identically distributed (IID) across the clients. To address the former challenge, we introduce the federated-centralized concordance property and show that the federated single-mini-batch training approach can achieve comparable performance as the corresponding centralized training in the Non-IID environments. To deal with the latter, we present the federated multi-mini-batch approach and illustrate that it can establish a trade-off between the performance and communication efficiency and outperforms federated averaging in the Non-IID settings.

研究动机与目标

• 解决联邦学习在非独立同分布（Non-IID）数据环境中性能下降的问题，其中客户端间数据分布高度偏斜。
• 克服FedAvg在非独立同分布设置下因小批量大小与本地更新次数固定耦合而导致收敛性差、性能不佳的局限性。
• 提出联邦-集中一致性属性，确保联邦模型在性能上可与集中式模型相媲美。
• 设计一种灵活的训练框架，实现联邦学习中模型性能与通信效率之间的可调制权衡。

提出的方法

• 提出联邦-集中一致性属性，确保在特定条件下训练的联邦模型可达到与集中式训练相当的性能。
• 引入联邦单小批量（FedSMB）作为基线方法，该方法在非独立同分布设置下可实现与集中式训练的一致性。
• 设计联邦多小批量（FedMMB）作为FedSMB的泛化形式，支持小批量大小与本地更新次数（小批量数量）的独立指定。
• 通过解耦学习过程，使客户端在每轮通信中以固定小批量大小执行多次本地更新，与FedAvg中大小与更新次数相互依赖的方式不同。
• 在服务器端采用加权聚合策略组合客户端模型，类似FedAvg，但因受控的本地优化而具备更优的收敛特性。
• 将该方法应用于卷积神经网络（4CFNN、VGG16）和真实世界数据集（CIFAR-10、HAM10000），以验证其在多样化设置下的性能表现。

实验结果

研究问题

• RQ1 联邦学习方法是否能在非独立同分布数据环境中实现与集中式训练相当的性能？
• RQ2 将小批量大小与本地更新次数解耦，对非独立同分布设置下模型收敛性和准确率有何影响？
• RQ3 当客户端数据非独立同分布时，FedMMB是否在准确率和通信效率方面优于FedAvg？
• RQ4 在标签异质的联邦学习中，控制每个客户端的本地更新次数在多大程度上能提升模型性能？
• RQ5 FedMMB是否能在不同模型架构和真实世界、不平衡数据集上保持高性能？

主要发现

• 在非独立同分布-2（Non-IID-2）设置下，FedMMB在CIFAR-10数据集上使用4CFNN模型实现最高测试准确率0.6906，显著优于FedAvg的0.6564。
• 即使FedAvg采用更大的小批量大小（B=500）以将本地更新次数减少至20次，其准确率仍仅为0.6654，而FedMMB在B=10、C=20时实现显著更高的性能。
• 在HAM10000数据集上使用VGG16模型时，FedMMB在非独立同分布场景下AUC达到0.7431，而FedAvg仅为0.6931，表明其在不平衡真实世界数据上表现更优。
• FedMMB的性能提升归因于其成功解耦小批量大小与本地更新次数，从而在不增加通信轮次的前提下实现更有效的优化。
• FedSMB（单小批量变体）表明，在非独立同分布设置下实现与集中式训练的一致性是可行的，验证了该方法的理论基础。
• 通过调节小批量数量（C），FedMMB可实现性能与通信效率之间的可调制权衡，使其适用于多种资源受限的环境。