[论文解读] DP-SIGNSGD: When Efficiency Meets Privacy and Robustness

Lingjuan Lyu|arXiv (Cornell University)|May 11, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用 4

一句话总结

本文提出了一种新型联邦学习方法 DP-SIGNSGD，通过将梯度符号量化与经过仔细校准的本地差分隐私（LDP）噪声相结合，同时实现通信效率、拜占庭鲁棒性与强隐私保障。该方法进一步集成误差反馈机制（EF-DP-SIGNSGD），以提升收敛精度，在同质与异质数据分布下均表现出稳健性能，即使存在高达40%的拜占庭攻击者亦能保持稳定。

ABSTRACT

Federated learning (FL) has emerged as a promising collaboration paradigm by enabling a multitude of parties to construct a joint model without exposing their private training data. Three main challenges in FL are efficiency, privacy, and robustness. The recently proposed SIGNSGD with majority vote shows a promising direction to deal with efficiency and Byzantine robustness. However, there is no guarantee that SIGNSGD is privacy-preserving. In this paper, we bridge this gap by presenting an improved method called DP-SIGNSGD, which can meet all the aforementioned properties. We further propose an error-feedback variant of DP-SIGNSGD to improve accuracy. Experimental results on benchmark image datasets demonstrate the effectiveness of our proposed methods.

研究动机与目标

• 解决联邦学习中同时实现效率、隐私与拜占庭鲁棒性的关键挑战。
• 弥补现有方法（如 SIGNSGD）的不足，后者虽具备强大效率与鲁棒性，但缺乏正式的隐私保障。
• 设计一种在保持收敛性与准确性的前提下，同时维持本地差分隐私（LDP）的联邦学习方法，适用于异质与对抗性联邦学习环境。
• 通过引入误差反馈机制扩展 SIGNSGD，以在不牺牲隐私或通信效率的前提下提升模型准确性。

提出的方法

• 在应用符号运算前，向本地梯度添加经过校准的噪声，确保满足 (ϵ, δ)-本地差分隐私。
• 对含噪梯度执行符号运算，实现通信效率，相比全精度方法将带宽减少32倍。
• 在服务器端采用多数投票聚合策略，确保对最多50%恶意参与方的拜占庭鲁棒性。
• 集成误差反馈机制（EF-DP-SIGNSGD），以补偿量化误差并提升收敛精度。
• 理论分析证明，DP-SIGNSGD 满足 (ϵ, δ)-LDP，其中隐私预算 ϵ 控制隐私与效用之间的权衡。
• 该方法在 MNIST 与 CIFAR-10 数据集上进行了评估，涵盖客户端每类样本数量变化及不同拜占庭攻击场景。

实验结果

研究问题

• RQ1 在联邦学习中，基于符号的压缩方法是否能在不牺牲通信效率或鲁棒性的前提下实现正式的隐私保障？
• RQ2 添加校准噪声对基于符号的联邦学习中收敛性与模型准确性有何影响？
• RQ3 DP-SIGNSGD 在拜占庭攻击下，特别是来自负梯度攻击者的情况下，性能能维持到何种程度？
• RQ4 集成误差反馈是否能显著提升 DP-SIGNSGD 的准确性，同时保持隐私与鲁棒性？
• RQ5 隐私预算 ϵ 如何影响 DP-SIGNSGD 中隐私与模型性能之间的权衡？

主要发现

• 在 ϵ=2 且 δ=10−5 的隐私预算下，EF-DP-SIGNSGD 在 MNIST 上达到 92.84% 的测试准确率，较 DP-SIGNSGD 提升超过1%，且在相同隐私预算下表现更优。
• 当 40% 的客户端为拜占庭攻击者时，DP-SIGNSGD 仍能保持稳定性能，展现出对负梯度攻击者的强大抗性。
• 在 ϵ=1 且 δ=10−5 的条件下，EF-DP-SIGNSGD 在 MNIST 上达到 91.50% 的准确率，表明隐私保护训练不会影响收敛性能。
• 与全精度 FedAvg 相比，该方法每轮通信成本降低 32 倍，同时保持了具有竞争力的准确率。
• 理论分析证实，DP-SIGNSGD 满足 (ϵ, δ)-本地差分隐私，提供了正式的隐私保障。
• 实证结果表明，EF-DP-SIGNSGD 在多个数据集与攻击场景下，始终优于 DP-SIGNSGD 与标准 SIGNSGD。