[论文解读] Federated Learning with Matched Averaging

Hongyi Wang, Mikhail Yurochkin+3 more|arXiv (Cornell University)|Feb 15, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 102

一句话总结

FedMA 是一种面向 CNN 和 LSTM 的分层联邦学习算法，它在不同客户端之间对齐并平均匹配的隐藏元素，从而提高准确性并降低通信量。

ABSTRACT

Federated learning allows edge devices to collaboratively learn a shared model while keeping the training data on device, decoupling the ability to do model training from the need to store the data in the cloud. We propose Federated matched averaging (FedMA) algorithm designed for federated learning of modern neural network architectures e.g. convolutional neural networks (CNNs) and LSTMs. FedMA constructs the shared global model in a layer-wise manner by matching and averaging hidden elements (i.e. channels for convolution layers; hidden states for LSTM; neurons for fully connected layers) with similar feature extraction signatures. Our experiments indicate that FedMA not only outperforms popular state-of-the-art federated learning algorithms on deep CNN and LSTM architectures trained on real world datasets, but also reduces the overall communication burden.

研究动机与目标

• 在保留数据隐私的同时，为现代神经网络架构提供联邦学习的动机。
• 在聚合过程中解决神经网络参数的置换不变性。
• 提出一种分层匹配与平均的算法，使全局模型大小适应异构客户端数据。
• 在真实数据集上展示相对于 FedAvg 和 FedProx 的更优收敛性和通信效率。

提出的方法

• 通过匹配平均目标来制定考虑置换不变性的参数平均，将本地神经元与全局神经元对齐（方程式2）。
• 通过使用 BBP-MAP 作为求解器，处理分层匹配和自适应全局模型大小，将 PFNM 扩展到 CNN 和 LSTM。
• 提出 FedMA：一种分层算法，首先在客户端之间匹配并平均第一层，然后在客户端训练后续层时冻结已匹配的层，逐层重复。
• 使用匈牙利算法来解决神经元/通道匹配的分配问题，并采用自适应增长策略来确定全局模型大小。
• 纳入一个通信高效变体（带通信的 FedMA），在多轮中保持全局模型规模较小，同时重用匹配结构。

实验结果

研究问题

• RQ1 在 CNN 和 LSTM 的联邦学习中，能否有效解决神经网络参数的置换不变性？
• RQ2 分层匹配平均（FedMA）是否在异质性背景下相较于 FedAvg 和 FedProx 提高准确性并降低通信量？
• RQ3 在联邦设置中，全局模型大小应如何适应异构的客户端数据？
• RQ4 本地训练轮数对 FedMA 性能和通信效率有何影响？

主要发现

方法	最终准确度 (%)	最佳本地轮次	模型增长率
FedAvg	86.29	20	1x
FedProx	85.32	20	1x
Ensemble	75.29	150	16x
FedMA	87.53	150	1.11x

• 在异质性设置下，FedMA 在 CNN 和 LSTM 中显著优于 FedAvg 和 FedProx。
• 分层匹配与自适应全局模型大小在更少通信的情况下实现更好的收敛。
• 一个通信高效的 FedMA 变体在实现强性能的同时保持全局模型小型化。
• FedMA 的分层方法通过对齐并平均匹配的滤波器/神经元，带来可解释性方面的好处。
• 在实验中，FedMA 在 CIFAR-10 和 Shakespeare 任务上取得比基线更高的最终准确率（CIFAR-10：FedMA 87.53% vs FedAvg 86.29%，FedProx 85.32%，Ensemble 75.29%；Shakespeare：FedMA 49.07% vs FedAvg 46.63%，FedProx 45.83%，Ensemble 46.06%）。