[论文解读] Acceleration of Federated Learning with Alleviated Forgetting in Local Training

Chencheng Xu, Zhiwei Hong+2 more|arXiv (Cornell University)|Mar 5, 2022

Privacy-Preserving Technologies in Data被引用 16

一句话总结

该论文提出 FedReg，一种新型联邦学习算法，通过使用生成的伪数据和扰动数据进行正则化，减轻本地训练中的灾难性遗忘，从而加速收敛。通过在不增加额外通信开销的情况下将全局知识编码到合成数据中，FedReg 提升了收敛速度，尤其在非独立同分布（non-i.i.d.）数据和深度神经网络架构下表现更优，同时以极小的性能损失增强了对梯度反演攻击的隐私保护能力。

ABSTRACT

Federated learning (FL) enables distributed optimization of machine learning models while protecting privacy by independently training local models on each client and then aggregating parameters on a central server, thereby producing an effective global model. Although a variety of FL algorithms have been proposed, their training efficiency remains low when the data are not independently and identically distributed (non-i.i.d.) across different clients. We observe that the slow convergence rates of the existing methods are (at least partially) caused by the catastrophic forgetting issue during the local training stage on each individual client, which leads to a large increase in the loss function concerning the previous training data at the other clients. Here, we propose FedReg, an algorithm to accelerate FL with alleviated knowledge forgetting in the local training stage by regularizing locally trained parameters with the loss on generated pseudo data, which encode the knowledge of previous training data learned by the global model. Our comprehensive experiments demonstrate that FedReg not only significantly improves the convergence rate of FL, especially when the neural network architecture is deep and the clients' data are extremely non-i.i.d., but is also able to protect privacy better in classification problems and more robust against gradient inversion attacks. The code is available at: https://github.com/Zoesgithub/FedReg.

研究动机与目标

• 为解决在非独立同分布（non-i.i.d.）数据分布下联邦学习收敛缓慢的问题，特别是由于本地训练中灾难性遗忘导致的性能下降。
• 在不增加通信开销的前提下，降低通信成本并提升收敛速度。
• 在不依赖差分隐私的前提下，增强联邦学习中的隐私保护，尤其针对梯度反演攻击。
• 在分类任务中保持高模型性能的同时，有效防御隐私泄露。
• 为联邦学习提供一种通信高效、隐私保护性强的差分隐私替代方案。

提出的方法

• FedReg 从全局模型和本地数据生成伪数据，以编码先前训练数据的知识，从而保留全局模型信息。
• 通过在本地数据上施加小范围、受控的扰动，引入扰动数据，以稳定训练过程并减少与本地数据分布的冲突。
• 在本地模型中，利用原始本地数据、伪数据和扰动数据计算的梯度进行正则化。
• 采用两阶段优化过程：首先使用缓慢更新的参数路径计算梯度，以防止过早收敛。
• 通过结合伪数据和扰动数据的梯度，实现学习过程的稳定化，减少对先前知识的遗忘。
• 该方法仅依赖全局模型和本地数据，避免数据共享或超出标准联邦学习的额外通信。

实验结果

研究问题

• RQ1 在非独立同分布（non-i.i.d.）数据下，能否有效缓解本地联邦训练中的灾难性遗忘，从而加速收敛？
• RQ2 从全局模型生成的合成伪数据是否足以保留足够知识，以减少遗忘，同时不共享原始客户端数据？
• RQ3 与标准 FedAvg 及其他基线方法相比，使用伪数据和扰动数据进行正则化是否能提升收敛速度？
• RQ4 FedReg 是否能在性能损失更小的前提下，提供比差分隐私更强的隐私保护，以抵御梯度反演攻击？
• RQ5 FedReg 在不同神经网络深度和不同数据非独立同分布程度下的性能表现如何？

主要发现

• FedReg 显著加速了联邦学习的收敛，尤其在深度神经网络和高度非独立同分布（non-i.i.d.）数据分布下表现突出。
• 在非独立同分布的 EMNIST 和 MNIST 数据集上，与 FedAvg 相比，FedReg 将达到目标准确率所需的通信轮次最多减少了 40%。
• 在 EMNIST 上，FedReg 模型达到 0.986 的测试准确率，优于使用 DPSGD 的 FedAvg（0.882）和使用 DPSGD 的 FedProx（0.881），且在相似隐私保护水平下表现更优。
• 在 COVID-19 CT 图像分类任务中，FedReg 在 MG 设置下达到 0.657 的准确率，而 FedAvg 使用 DPSGD 仅达 0.570，表明在强隐私保护下性能更优。
• 与使用 DPSGD 的基线方法相比，梯度反演攻击从 FedReg 中恢复的图像质量显著更低，表明其具备更强的隐私保护能力。
• FedReg 的性能对学习率和正则化强度等超参数较为敏感，存在一个最优平衡点，可使通信轮次最小化。