[论文解读] cpSGD: Communication-efficient and differentially-private distributed SGD

Naman Agarwal, Ananda Theertha Suresh+3 more|arXiv (Cornell University)|May 27, 2018

Privacy-Preserving Technologies in Data参考文献 3被引用 184

一句话总结

本文提出 cpSGD，一种将高强度梯度量化与 Binomial 差分隐私机制相结合的分布式 SGD 框架，实现通信效率与形式化的差分隐私保证。它还提出一种基于旋转的技术，以降低误差并在显著降低通信量的同时实现与高斯隐私/效用权衡相匹配。

ABSTRACT

Distributed stochastic gradient descent is an important subroutine in distributed learning. A setting of particular interest is when the clients are mobile devices, where two important concerns are communication efficiency and the privacy of the clients. Several recent works have focused on reducing the communication cost or introducing privacy guarantees, but none of the proposed communication efficient methods are known to be privacy preserving and none of the known privacy mechanisms are known to be communication efficient. To this end, we study algorithms that achieve both communication efficiency and differential privacy. For $d$ variables and $n \approx d$ clients, the proposed method uses $O(\log \log(nd))$ bits of communication per client per coordinate and ensures constant privacy. We also extend and improve previous analysis of the \emph{Binomial mechanism} showing that it achieves nearly the same utility as the Gaussian mechanism, while requiring fewer representation bits, which can be of independent interest.

研究动机与目标

• 在分布式 SGD 中，特别是对移动/边缘客户端，激励需要同时具备通信效率和差分隐私。
• 开发在显著降低每轮通信量的同时实现 DP 的机制。
• 提出适用于分布式设置中离散传输的基于 Binomial 的隐私机制。
• 通过旋转提高效用，以降低梯度估计的均方误差（MSE）。
• 就分布式均值估计（DME）作为构建块，提供 DP、误差与通信的理论保证。

提出的方法

• 将每轮梯度压缩与本地 DP 噪声加入相结合，形式化分布式 SGD。
• 引入用于离散输出的 Binomial 机制，并给出扩展到 d 维的正式 DP 分析。
• 证明旋转（使用 HA 的 Rot）可降低 MSE、保持隐私保证，同时降低通信量。
• 给出一个量化的随机 k 级方案 π_sk(Bin(m,p))，将量化与 Binomial 噪声结合以实现 DP，并降低通信量。
• 分析高概率灵敏度和旋转如何改善隐私、准确性与通信之间的权衡（推论/定理）。
• 在 MSE 和通信方面，将高斯基线与 Binomial 及旋转 Binomial 机制进行比较。

实验结果

研究问题

• RQ1 如何在不牺牲通信效率的前提下，为分布式 SGD 实现差分隐私？
• RQ2 离散（Binomial）噪声机制在分布式均值估计中能否提供与高斯机制相当的效用？
• RQ3 在量化之前的随机旋转是否能降低误差并改善隐私-通信权衡？
• RQ4 将基于 Binomial 的 DP 应用于高维梯度向量时，每轮的通信成本和隐私保证是什么？
• RQ5 与高斯机制相比，所提出方法在 MSE 和总通信比特数方面的表现如何？

主要发现

• Binomial 机制在 d 维下实现 (ε, δ) DP，在较小 ε 时具有接近高斯的效用，且需要更少的表示位数。
• 基于旋转的方案（Rot(π_sk(Bin(m,p)), HA)）降低了 MSE，在 d = O(nε^2) 时实现隐私保证，且每轮通信成本为 O(nd log log(nd/δ))。
• 对于基于 Binomial 的 DP 方案，每轮总通信量大致为 n·d·(log2(k + m) + 较低阶项)，相比全精度传输有可观的降低。
• 量化结合 Binomial 噪声在分布式均值估计（DME）中保持无偏均值估计，同时提供 DP 保证。
• 旋转通过降低对 Xmax 的依赖并在更低通信量下实现与高斯机制相近的隐私-效用，从而提升实际性能。
• 本文演示了如何将支持 DP 的 DME 实现为私有分布式 SGD 的构建块，具备通信高效的特性。