[论文解读] Asynchronous Federated Learning with Differential Privacy for Edge Intelligence

Yanan Li, Shusen Yang+2 more|arXiv (Cornell University)|Dec 17, 2019

Privacy-Preserving Technologies in Data参考文献 53被引用 27

一句话总结

本文提出MAPA，一种用于异步联邦学习（AFL）的多阶段可调私人算法，通过动态调节噪声尺度和学习率，在差分隐私与模型效用之间实现平衡。该方法在收敛速度和准确率方面优于现有最先进方法，且具备理论收敛性分析，并通过仿真和真实场景测试平台实验得到验证。

ABSTRACT

Federated learning has been showing as a promising approach in paving the last mile of artificial intelligence, due to its great potential of solving the data isolation problem in large scale machine learning. Particularly, with consideration of the heterogeneity in practical edge computing systems, asynchronous edge-cloud collaboration based federated learning can further improve the learning efficiency by significantly reducing the straggler effect. Despite no raw data sharing, the open architecture and extensive collaborations of asynchronous federated learning (AFL) still give some malicious participants great opportunities to infer other parties' training data, thus leading to serious concerns of privacy. To achieve a rigorous privacy guarantee with high utility, we investigate to secure asynchronous edge-cloud collaborative federated learning with differential privacy, focusing on the impacts of differential privacy on model convergence of AFL. Formally, we give the first analysis on the model convergence of AFL under DP and propose a multi-stage adjustable private algorithm (MAPA) to improve the trade-off between model utility and privacy by dynamically adjusting both the noise scale and the learning rate. Through extensive simulations and real-world experiments with an edge-could testbed, we demonstrate that MAPA significantly improves both the model accuracy and convergence speed with sufficient privacy guarantee.

研究动机与目标

• 解决异步联邦学习（AFL）在异构边缘-云系统中应用差分隐私（DP）时的隐私-效用权衡问题。
• 分析AFL在DP下的理论收敛性，特别是噪声和延迟对模型误差的影响。
• 设计一种实用且自适应的算法，在不损害隐私保证的前提下提升模型效用。
• 通过大规模仿真和真实场景测试平台实验，对所提方法进行验证，实验对象为CNN模型。

提出的方法

• 提出一种多阶段可调私人算法（MAPA），根据梯度敏感性和延迟程度动态调节噪声尺度与学习率。
• 引入梯度裁剪机制以降低敏感性，从而减少差分隐私所需的噪声。
• 采用随最大延迟（τ_max）线性衰减的学习率，提升收敛效率。
• 理论分析推导出误差界为 O(1/√T (σ/√b + ΔS/ε) + τ_max² log T / T)，准确刻画了隐私、噪声与延迟之间的权衡关系。
• 采用隐私预算（ε）和δ-近似差分隐私（DP）以确保严格的隐私保障，同时保持模型效用。
• 引入光滑常数（L）和批量大小（b）以控制梯度方差与优化稳定性。

实验结果

研究问题

• RQ1 差分隐私在边缘-云系统中的异步联邦学习中如何影响收敛性？
• RQ2 动态调节噪声尺度与学习率是否能改善AFL中的隐私-效用权衡？
• RQ3 AFL在DP下的理论误差界是什么？其如何依赖于延迟和隐私参数？
• RQ4 在隐私约束下，MAPA与现有AFL方法在收敛速度与模型准确率方面相比如何？
• RQ5 MAPA对关键超参数（如ε、σ、δ和缩减比）的变化具有多大程度的鲁棒性？

主要发现

• MAPA在每阶段实现 O(1/T) 的收敛速率，相较于ASGD显著提升收敛速度，尤其在边缘服务器数量（K）增加时表现更优。
• 当 K = 1000 时，MAPA相比ASGD实现约 2 个幅度的收敛节省，展现出更高的效率。
• 在真实场景测试平台实验中，MAPA在MNIST数据集上的CNN模型准确率优于AUDP，甚至可与非私有的CSGD方法持平，表明在强隐私保护下仍具备高模型效用。
• MAPA对σ（样本方差）和δ（概率损失）的变化具有鲁棒性，表明对这些参数的估计误差不敏感。
• 由于学习率衰减过激，模型准确率随缩减比升高而下降，证实该超参数具有显著敏感性。
• 较大的批量大小（b）和较小的光滑常数（L）可提升早期收敛速度，但不影响最终准确率，表明其仅具有瞬时优势。