[论文解读] Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches

Tian Li, Zaoxing Liu+2 more|arXiv (Cornell University)|Nov 3, 2019

Privacy-Preserving Technologies in Data参考文献 46被引用 40

一句话总结

本文介绍 DiffSketch，一种基于草图的框架，利用 Count Sketch 在分布式学习中实现通信效率和本地差分隐私，同时在隐私与通信为中心的基线上显示出显著的准确性提升。

ABSTRACT

Communication and privacy are two critical concerns in distributed learning. Many existing works treat these concerns separately. In this work, we argue that a natural connection exists between methods for communication reduction and privacy preservation in the context of distributed machine learning. In particular, we prove that Count Sketch, a simple method for data stream summarization, has inherent differential privacy properties. Using these derived privacy guarantees, we propose a novel sketch-based framework (DiffSketch) for distributed learning, where we compress the transmitted messages via sketches to simultaneously achieve communication efficiency and provable privacy benefits. Our evaluation demonstrates that DiffSketch can provide strong differential privacy guarantees (e.g., $\varepsilon$= 1) and reduce communication by 20-50x with only marginal decreases in accuracy. Compared to baselines that treat privacy and communication separately, DiffSketch improves absolute test accuracy by 5%-50% while offering the same privacy guarantees and communication compression.

研究动机与目标

• 推动在分布式学习中对通信效率与隐私的联合处理。
• 证明 Count Sketch 本身在高斯输入假设和有界输入下提供本地差分隐私保证。
• 提出 DiffSketch 以压缩消息并在保持准确性的同时提供隐私。

提出的方法

• 以 Count Sketch 作为构建块，用于压缩梯度/模型更新并给出可证明的误差界限。
• 证明 Count Sketch 在高斯输入假设和有界输入下引入本地差分隐私。
• 开发 DiffSketch 在分布式 SGD 与 FedAvg/Federated 设置中执行压缩、隐私验证、聚合与查询。
• 给出在分布式 SGD 下利用草图估计的无偏梯度估计的收敛性 guarantees（针对凸目标）。
• 在 MNIST 与 Shakespeare 数据集上，实证比较 DiffSketch 与 cpSGD 等基线以及引入噪声的方法。
• 在固定隐私与通信水平下，展示相对于基线的 5%-50% 的绝对准确性提升。

实验结果

研究问题

• RQ1 在分布式学习中，草图是否能在不添加额外噪声的情况下提供内在的本地差分隐私？
• RQ2 在使用草图方法时，通信压缩、隐私水平和学习精度之间有哪些权衡？
• RQ3 与注重隐私与通信的基线相比，基于草图的框架（DiffSketch）在分布式 SGD 与联邦学习（FedAvg）中的表现如何？

主要发现

• DiffSketch 可以在仅有极小的准确性损失的情况下将通信量降低至 20-50×。
• DiffSketch 在固定通信水平下提供强本地隐私保证（例如 ε ≈ 1，在实验中）。
• 与将隐私与通信分离的基线相比，在相同隐私和压缩条件下，DiffSketch 取得 5%-50% 的绝对测试准确性提升。
• 与 cpSGD 相比，在相同隐私与通信设置下，DiffSketch 可实现高达 50% 的更高准确性。
• 草图本身往往不需要额外噪声，具备固有的隐私优势。
• 针对凸目标的收敛性保证表明 DiffSketch 以受控误差达到标准 SGD 的收敛速率。