[论文解读] Differentially Private Federated Learning via Inexact ADMM with Multiple Local Updates

Minseok Ryu, Kibaek Kim|arXiv (Cornell University)|Feb 18, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出了一种使用不精确交替方向乘子法（IADMM）进行多次本地更新的差分隐私联邦学习算法，通过在目标函数中注入拉普拉斯噪声实现 $\bar{\epsilon}$-差分隐私。该方法在 MNIST 和 FEMNIST 数据集上相较于以往的 DP 算法，在相同隐私预算下将测试误差降低了最多 31%，展示了更优的准确率-隐私权衡和更快的收敛速度。

ABSTRACT

Differential privacy (DP) techniques can be applied to the federated learning model to statistically guarantee data privacy against inference attacks to communication among the learning agents. While ensuring strong data privacy, however, the DP techniques hinder achieving a greater learning performance. In this paper we develop a DP inexact alternating direction method of multipliers algorithm with multiple local updates for federated learning, where a sequence of convex subproblems is solved with the objective perturbation by random noises generated from a Laplace distribution. We show that our algorithm provides $\barε$-DP for every iteration, where $\barε$ is a privacy budget controlled by the user. We also present convergence analyses of the proposed algorithm. Using MNIST and FEMNIST datasets for the image classification, we demonstrate that our algorithm reduces the testing error by at most $31\%$ compared with the existing DP algorithm, while achieving the same level of data privacy. The numerical experiment also shows that our algorithm converges faster than the existing algorithm.

研究动机与目标

• 解决联邦学习中数据隐私与学习性能之间的权衡问题。
• 开发一种通信高效、隐私保护的优化算法，用于联邦学习，确保强差分隐私。
• 在相同隐私预算下，相比现有差分隐私联邦学习方法，提升解的准确性。
• 通过目标函数扰动，在保护数据隐私的同时，实现更快的收敛速度和更好的泛化能力。

提出的方法

• 使用不精确交替方向乘子法（IADMM）以分布式方式求解一系列凸子问题。
• 通过向目标函数中注入拉普拉斯分布噪声，实施目标函数扰动，以确保每次迭代均满足 $\bar{\epsilon}$-差分隐私。
• 在每次通信轮次中引入多次本地更新，以降低通信开销并提升收敛速度。
• 基于自适应规则引入动态惩罚参数 $\rho^{t}$，以平衡收敛性与隐私保护。
• 在不精确 ADMM 框架下，结合隐私约束，推导出理论收敛保证。
• 在 MNIST 和 FEMNIST 数据集上，使用多分类逻辑回归模型进行实证评估。

实验结果

研究问题

• RQ1 在差分隐私联邦学习框架中，多次本地更新是否能够提升收敛速度和模型准确率？
• RQ2 与输出扰动相比，使用拉普拉斯噪声的目标扰动是否能在联邦学习中提供更优的隐私-准确率权衡？
• RQ3 所提出的具有多次本地更新的不精确 ADMM 方法，在测试误差和收敛速率方面，相较于现有 DP-FL 方法表现如何？
• RQ4 自适应惩罚参数选择对差分隐私 ADMM 在联邦学习中性能的影响是什么？

主要发现

• 在相同隐私预算下，所提算法在 MNIST 和 FEMNIST 数据集上的测试误差相比最先进 DP 算法最高降低 31%。
• 实验表明，该算法收敛速度快于现有 DP-FL 方法，表现为训练损失随迭代次数减少得更快。
• 理论分析证实，该算法在每次迭代中均提供 $\bar{\epsilon}$-差分隐私，且隐私预算可由用户控制。
• 实证结果表明，算法对惩罚参数 $\rho^{t}$ 的选择具有鲁棒性，动态自适应策略可获得稳定性能。
• 目标扰动相比输出扰动能获得更准确的解，验证了其在隐私-准确率权衡中的优越性。