[论文解读] Privacy Amplification by Decentralization

Edwige Cyffers, Aurélien Bellet|arXiv (Cornell University)|Dec 9, 2020

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出了网络差分隐私（network DP），这是局部差分隐私（LDP）的一种松弛形式，自然地出现在完全去中心化的系统中，用户通过网络图进行通信而无需中心协调者。通过将计算建模为在图上执行随机游走的代币，作者设计了适用于求和、直方图计算和随机梯度下降的算法，其隐私-效用权衡显著优于LDP，且通常可达到可信 curator 模型的性能，证明了完全去中心化可正式增强隐私。

ABSTRACT

Analyzing data owned by several parties while achieving a good trade-off between utility and privacy is a key challenge in federated learning and analytics. In this work, we introduce a novel relaxation of local differential privacy (LDP) that naturally arises in fully decentralized algorithms, i.e., when participants exchange information by communicating along the edges of a network graph without central coordinator. This relaxation, that we call network DP, captures the fact that users have only a local view of the system. To show the relevance of network DP, we study a decentralized model of computation where a token performs a walk on the network graph and is updated sequentially by the party who receives it. For tasks such as real summation, histogram computation and optimization with gradient descent, we propose simple algorithms on ring and complete topologies. We prove that the privacy-utility trade-offs of our algorithms under network DP significantly improve upon what is achievable under LDP, and often match the utility of the trusted curator model. Our results show for the first time that formal privacy gains can be obtained from full decentralization. We also provide experiments to illustrate the improved utility of our approach for decentralized training with stochastic gradient descent.

研究动机与目标

• 为在无中心协调者的完全去中心化联邦学习与分析中实现强隐私-效用权衡提供解决方案。
• 形式化一种新的隐私模型——网络差分隐私，以捕捉去中心化网络中用户本地视角下的隐私特性。
• 设计实用的去中心化算法，利用网络结构实现超越标准局部差分隐私的隐私增强。
• 通过理论与实证验证，证明即使在缺乏可信 curator 或密码聚合机制的情况下，去中心化本身也能带来正式的隐私增益。

提出的方法

• 提出网络差分隐私（network DP），作为 LDP 的一种松弛，其隐私建模基于每个用户对网络及其邻居交互的本地视图。
• 将计算建模为在图上执行随机游走的代币，每个节点在将代币传递给下一跳前本地更新其内容。
• 针对环形图和完全图拓扑结构，设计简单高效的算法，用于真实求和、直方图计算和随机梯度下降。
• 利用随机游走实现隐私放大，降低有效隐私损失，利用贡献在时间上无法直接追溯至源头的特性。
• 使用切尔诺夫不等式和组合定理，对‘被标记贡献’（即紧邻用户自身贡献的贡献）的隐私损失进行边界估计。
• 通过实证手段限制边的使用次数，或在阈值被超过时用噪声替换真实贡献，以控制已知发送方/接收方对的隐私泄露。

(a) Theoretical bounds

实验结果

研究问题

• RQ1 在联邦学习中实现完全去中心化是否能提供超越局部差分隐私（LDP）的正式隐私增益？
• RQ2 去中心化网络的结构（如环形图或完全图）如何影响分布式计算中的隐私-效用权衡？
• RQ3 在无中心协调者的情况下，能否通过网络图上的随机游走实现隐私放大？
• RQ4 ‘被标记贡献’（即紧接在用户自身贡献之前或之后的贡献）对去中心化系统中整体隐私损失的影响程度如何？
• RQ5 在无密码聚合的情况下，去中心化算法在 network DP 下能否实现接近可信 curator 模型的效用？

主要发现

• 所提出的 network DP 算法在隐私-效用权衡方面显著优于标准局部差分隐私（LDP），尤其在高维或大规模场景中表现突出。
• 在真实求和与直方图计算等任务中，network DP 的隐私放大效果在许多情形下可达到可信 curator 模型的效用水平。
• 当总贡献数 T 为 Ω(n²) 的情形下，‘被标记贡献’带来的隐私损失可忽略不计，从而恢复理论边界所预测的隐私放大阶数。
• 实验结果证实，network DP 在离散直方图计算和去中心化随机梯度下降中均显著提升了隐私-效用权衡的实证性能。
• 通过切尔诺夫不等式和组合定理可对‘被标记贡献’的隐私损失进行边界控制，且当每个用户的贡献数相对于网络规模较大时，该损失可忽略不计。
• 实用的缓解策略（如限制边的使用频率，或在超过阈值时用噪声替换真实贡献）可有效控制隐私泄露，且对收敛性或效用的损害较小。

(b) Empirical