[论文解读] Differentially Private Iterative Synchronous Consensus

Zhenqi Huang, Sayan Mitra+1 more|arXiv (Cornell University)|Jul 18, 2012

Distributed Control Multi-Agent Systems参考文献 14被引用 21

一句话总结

本文提出了一种用于分布式系统的差分隐私迭代一致性机制，其中各参与方在保护其初始状态隐私的同时收敛至一个共同值。该工作提出了一种客户端-服务器架构与完全分布式协议，通过在消息中添加几何衰减的拉普拉斯噪声，实现了收敛性与 $\epsilon$-差分隐私的双重保障，并量化了隐私与准确率之间的权衡。

ABSTRACT

The iterative consensus problem requires a set of processes or agents with different initial values, to interact and update their states to eventually converge to a common value. Protocols solving iterative consensus serve as building blocks in a variety of systems where distributed coordination is required for load balancing, data aggregation, sensor fusion, filtering, clock synchronization and platooning of autonomous vehicles. In this paper, we introduce the private iterative consensus problem where agents are required to converge while protecting the privacy of their initial values from honest but curious adversaries. Protecting the initial states, in many applications, suffice to protect all subsequent states of the individual participants. First, we adapt the notion of differential privacy in this setting of iterative computation. Next, we present a server-based and a completely distributed randomized mechanism for solving private iterative consensus with adversaries who can observe the messages as well as the internal states of the server and a subset of the clients. Finally, we establish the tradeoff between privacy and the accuracy of the proposed randomized mechanism.

研究动机与目标

• 解决传感器网络、车队协同车辆及时钟同步等系统中对隐私保护的分布式协调需求。
• 将同步私密一致性（SPC）问题形式化为一种带有差分隐私保障的迭代一致性变体。
• 确保对能够观察所有消息和内部状态的诚实但好奇的攻击者，初始代理值的隐私性得到保护。
• 在迭代一致性中建立差分隐私（通过 $\epsilon$）与收敛准确率之间的正式权衡关系。
• 将该框架扩展至完全分布式环境，其中攻击者可能攻破部分客户端并观察其消息与状态。

提出的方法

• 通过在客户端消息中添加拉普拉斯分布噪声，将差分隐私应用于迭代式同步一致性。
• 采用几何衰减的噪声方差：噪声尺度随时间减小，初期较大以保障隐私，最终趋近于零以确保准确率。
• 在客户端-服务器模型中，客户端向服务器发送 $\theta(t) + \eta(t)$，其中 $\eta(t) \sim \text{Laplace}(0, b_t)$ 且 $b_t$ 几何衰减。
• 服务器计算所有噪声消息的均值作为反馈 $y(t)$，并将其发送回客户端。
• 客户端通过线性组合更新其状态：$\theta(t+1) = \alpha \cdot y(t) + (1-\alpha) \cdot \theta(t)$，确保收敛性。
• 将该方法推广至分布式环境，客户端直接交换带噪声的状态，同时调整噪声参数以在部分客户端被攻破时仍保持隐私。

实验结果

研究问题

• RQ1 差分隐私能否在分布式系统的迭代一致性协议中有意义地应用？
• RQ2 为何几何衰减噪声可同时确保强隐私性与对真实平均值的最终收敛？
• RQ3 在所提机制中，隐私（$\epsilon$）与准确率（收敛半径 $r$）之间的定量权衡关系如何？
• RQ4 当攻击者不仅观察消息，还观察被攻破客户端的内部状态时，系统如何维持隐私？
• RQ5 该私密一致性机制能否扩展至无中心服务器的完全分布式架构？

主要发现

• 所提机制在客户端-服务器与完全分布式设置下，均实现了对代理初始值的 $\epsilon$-差分隐私。
• 随着噪声幅度随时间几何衰减，收敛至真实平均值得到保证，确保渐近正确性。
• 准确率半径 $r$ 的尺度为 $O(\frac{1}{\epsilon \sqrt{\beta N}})$，表明更高的隐私性（$\epsilon$）或更少的参与方（$N$）会降低准确率。
• 图1展示了隐私-准确率权衡：增加噪声衰减率 $q$ 可提升隐私性，但会降低准确率。
• 隐私性证明依赖于在相邻初始状态的执行轨迹之间构建双射映射，这是控制领域中一种新颖的技术。
• 该框架是首个正式将差分隐私应用于以收敛为目标的迭代闭环控制系统的方案。