[论文解读] A Privacy Preserving Randomized Gossip Algorithm via Controlled Noise Insertion

Filip Hanzely, Jakub Konečný+3 more|arXiv (Cornell University)|Jan 27, 2019

Privacy-Preserving Technologies in Data参考文献 22被引用 7

一句话总结

该论文提出了一种保护初始节点值的随机化扩散算法，通过注入并逐步减少受控噪声来保护平均一致性计算中的初始值。通过在迭代间关联噪声并采用双重分析框架，该方法确保收敛至真实平均值，同时显著阻碍对私有值的推断，其理论收敛速率取决于网络结构和噪声参数。

ABSTRACT

In this work we present a randomized gossip algorithm for solving the average consensus problem while at the same time protecting the information about the initial private values stored at the nodes. We give iteration complexity bounds for the method and perform extensive numerical experiments.

研究动机与目标

• 开发一种分布式随机扩散算法，以在平均一致性计算过程中保护初始节点值的隐私。
• 在注入噪声以保护隐私的前提下，确保收敛至精确平均值。
• 利用双重优化框架分析所提方法的收敛速率。
• 在不同噪声参数下，通过实验评估隐私保护与收敛速度之间的权衡。
• 提供预期对偶间隙衰减的理论边界，将收敛性与网络拓扑结构及噪声控制相联系。

提出的方法

• 该算法采用双重方法分析收敛性，通过仿射变换将对偶更新映射为原始变量更新。
• 在每次迭代中，随机选择一条边，每个节点在其当前值上添加一个噪声项，然后与邻居节点进行平均。
• 噪声动态调整：在注入新噪声前，先减去之前添加的噪声，新噪声的幅值更小，以确保噪声逐渐衰减。
• 噪声参数 $\phi_i$ 控制衰减速率，其中 $\phi_i = \sqrt{1 - \gamma / d_i}$ 可确保最优收敛性而不牺牲隐私。
• 该方法利用代数连通度 $\alpha(\mathcal{G})$ 和节点度数 $d_i$，以 $\rho^k$ 和 $\psi^t$ 的形式推导收敛边界。
• 理论分析表明，只要噪声衰减不违反与 $\alpha(\mathcal{G})$ 和 $\gamma$ 相关的阈值条件，收敛性即由 $\rho^k$ 驱动。

实验结果

研究问题

• RQ1 随机扩散算法能否在收敛至真实平均值的同时保护初始节点值的隐私？
• RQ2 受控噪声注入如何影响平均一致性算法的收敛速率？
• RQ3 网络拓扑结构（如代数连通度）与噪声下收敛行为之间存在何种关系？
• RQ4 能否为使用双重分析的隐私保护扩散算法推导出理论收敛边界？
• RQ5 何种噪声衰减策略可同时实现隐私保护与高效收敛？

主要发现

• 当噪声衰减速率保持在由 $\alpha(\mathcal{G})$ 和 $\gamma$ 定义的阈值以下时，预期对偶间隙衰减为 $\mathbb{E}[D(y^*) - D(y^k)] = \tilde{O}(\rho^k)$。
• 当 $\phi_i = \sqrt{1 - \alpha(\mathcal{G})/(2d_i)}$ 时，该方法在不降低收敛速率的前提下实现了最快可能的噪声衰减。
• 当 $\phi$ 接近 1 时（例如，环形图中 $\phi = 0.98$，随机几何图中 $\phi = 0.995$），收敛性由噪声衰减主导，而非网络动力学。
• 对于不在集合 $M$ 中的节点（该集合包含噪声衰减最慢的索引），收敛速率不受噪声参数显著影响。
• 实验结果表明，当 $\phi$ 较小时，收敛性与标准成对扩散算法一致；而较大的 $\phi$ 值因持续噪声导致收敛变慢。
• 该方法通过噪声传播与逐步撤除实现隐私保护，使在不损害收敛性的情况下难以推断初始值。