[论文解读] Differentially Private Decentralized Learning

Shangwei Guo, Tianwei Zhang+2 more|arXiv (Cornell University)|Jun 14, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 6

一句话总结

本文提出了一种用于去中心化学习的新型差分隐私随机梯度下降（DP-SGD）算法，采用拓扑感知优化策略以降低噪声规模并提升模型效用。通过限制梯度敏感度并利用网络结构，该方法在隐私-效用权衡方面优于以往的集中式或同步方法。

ABSTRACT

Decentralized learning has received great attention for its high efficiency and performance. In such systems, every participant constantly exchanges parameters with each other to train a shared model, which can put him at the risk of data privacy leakage. Differential Privacy (DP) has been adopted to enhance the Stochastic Gradient Descent (SGD) algorithm. However, these approaches mainly focus on single-party learning, or centralized learning in the synchronous mode. In this paper, we design a novel DP-SGD algorithm for decentralized learning systems. The key contribution of our solution is a \emph{topology-aware} optimization strategy, which leverages the unique network characteristics of decentralized systems to effectively reduce the noise scale and improve the model usability. Besides, we design a novel learning protocol for both synchronous and asynchronous decentralized systems by restricting the sensitivity of the SGD algorithm and maximizing the noise reduction. We formally analyze and prove the DP requirement of our proposed algorithms. Experimental evaluations demonstrate that our algorithm achieves a better trade-off between usability and privacy than prior works.

研究动机与目标

• 解决去中心化学习系统中参与者交换模型参数时存在的数据隐私泄露问题。
• 克服现有差分隐私SGD方法仅聚焦于集中式或同步学习的局限性。
• 设计一种符合DP要求的学习协议，在确保强隐私保障的同时维持高模型可用性。
• 利用去中心化系统的固有网络拓扑结构，最小化噪声注入而不损害隐私。
• 为所提算法的同步与异步变体形式上证明差分隐私。

提出的方法

• 提出一种拓扑感知的噪声注入策略，根据去中心化参与者的网络结构动态调整噪声规模。
• 通过限制本地梯度贡献的范围来控制SGD更新过程的敏感度，从而降低全局敏感度。
• 设计一种新型学习协议，支持在具有DP保障的前提下进行同步与异步的去中心化训练。
• 集成利用去中心化网络中连通性与通信模式的噪声减少技术。
• 基于敏感度边界形式化分析DP参数，并证明该算法满足(ε, δ)-差分隐私。
• 通过考虑通信图中每个节点的度数及其邻域结构，优化每次更新的噪声方差。

实验结果

研究问题

• RQ1 如何在不依赖中心聚合器的前提下，有效将差分隐私应用于去中心化学习系统？
• RQ2 网络拓扑在最小化噪声的同时保持去中心化SGD中的隐私性方面发挥何种作用？
• RQ3 能否设计一种统一的DP-SGD框架，使其在同步与异步去中心化环境中均高效运行？
• RQ4 与均匀噪声注入相比，拓扑感知的噪声缩放如何改善隐私-效用权衡？
• RQ5 在不同网络结构下，所提去中心化DP-SGD算法的正式隐私保障（ε, δ）是什么？

主要发现

• 所提算法在去中心化环境中实现的隐私-效用权衡优于以往的集中式与同步DP-SGD方法。
• 拓扑感知的噪声缩放降低了所需噪声幅度，从而在相同隐私预算下提升了模型准确率。
• 该方法对同步与异步去中心化训练协议均维持了(ε, δ)-差分隐私。
• 实验评估证实，由于噪声注入减少，模型可用性显著提升，尤其在连接度较高的网络拓扑中表现更优。
• 敏感度受限的梯度更新有效限制了全局敏感度，从而在不牺牲收敛性的情况下实现了更紧致的隐私边界。