[论文解读] Differentially Private Bipartite Consensus over Signed Networks with Time-Varying Noises

Jimin Wang, Jieming Ke+1 more|arXiv (Cornell University)|Dec 22, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种针对时变噪声方差的签名多智能体网络的差分隐私双分图一致性算法，可在不牺牲收敛性的情况下实现增强的隐私保护。通过采用自适应步长的随机逼近方法，该方法在确保预设差分隐私水平的同时，实现了渐近无偏的均方和几乎 surely 一致性，即使隐私噪声随时间增加也依然有效。

ABSTRACT

This paper investigates the differentially private bipartite consensus algorithm over signed networks. The proposed algorithm protects each agent's sensitive information by adding noise with time-varying variances to the cooperative-competitive interactive information. In order to achieve privacy protection, the variance of the added noise is allowed to be increased, and substantially different from the existing works. In addition, the variance of the added noise can be either decaying or constant. By using time-varying step-sizes based on the stochastic approximation method, we show that the algorithm converges in mean-square and almost-surely even with an increasing privacy noise. We further develop a method to design the step-size and the noise parameter, affording the algorithm to achieve asymptotically unbiased bipartite consensus with the desired accuracy and the predefined differential privacy level. Moreover, we give the mean-square and almost-sure convergence rate of the algorithm, and the privacy level with different forms of the privacy noises. We also reveal the algorithm's trade-off between the convergence rate and the privacy level. Finally, a numerical example verifies the theoretical results and demonstrates the algorithm's superiority against existing methods.

研究动机与目标

• 为解决在签名多智能体网络中进行双分图一致性时保护个体智能体敏感初始状态的挑战。
• 放宽先前要求隐私噪声衰减的限制，允许时变且递增的噪声方差。
• 设计一种一致性算法，同时保证渐近无偏收敛性和预设的差分隐私水平。
• 量化在不同噪声配置下收敛速率与隐私水平之间的权衡。
• 提供一种系统化的方法，用于调节步长和噪声参数，以实现期望的精度和隐私性。

提出的方法

• 引入一种时变噪声机制，其中添加的隐私噪声方差随时间增加，与以往要求噪声衰减的工作不同。
• 采用基于随机逼近的方法，使用形式为 $\alpha(k) = \frac{c}{(k+1)^\beta}$ 的自适应步长，其中 $\beta \in (0,1]$，即使在噪声增加的情况下也能确保收敛。
• 通过签名图拓扑设计控制器，同时整合合作与竞争互动，实现具有相反符号一致性的双分图一致性。
• 推导出实现 $\epsilon^\star$-差分隐私和 $ (s^\star, r^\star) $-精度一致性的步长与噪声参数条件。
• 通过理论分析，建立在时变噪声和自适应步长下的一致性均方和几乎 surely 收敛性。
• 通过分析噪声增长速率 $\gamma$ 对 $\epsilon$ 和收敛速度的影响，揭示收敛速率与隐私水平之间的权衡。

实验结果

研究问题

• RQ1 当隐私噪声方差随时间增加而非衰减至零时，能否实现差分隐私双分图一致性？
• RQ2 如何设计时变步长，以确保在隐私噪声增加的情况下实现均方和几乎 surely 收敛？
• RQ3 隐私噪声增长速率与最终差分隐私水平 $\epsilon$ 之间存在何种关系？
• RQ4 该算法的收敛速率如何依赖于噪声方差分布和步长参数？
• RQ5 该算法能否在保持预设隐私水平 $\epsilon^\star$ 的同时实现渐近无偏一致性？

主要发现

• 所提出的算法即使在隐私噪声方差增加的情况下，也能在均方和几乎 surely 意义下实现渐近无偏的双分图一致性。
• 在条件 $\beta \in (0,1]$ 和 $\gamma < \beta - 1/2$ 下可保证收敛，其中 $\beta$ 控制步长衰减，$\gamma$ 控制噪声方差增长。
• 通过适当调节噪声参数，该算法可对任意 $\epsilon^\star > 0$ 实现 $\epsilon^\star$-差分隐私，即使噪声方差在增加。
• 噪声增长速率 $\gamma$ 的增加会降低收敛速度，但能增强隐私性（降低 $\epsilon$），证实了速度与隐私之间的权衡。
• 数值结果表明，所提出的算法在保持隐私性（$y(k)$ 保持随机）的同时实现收敛，其隐私保护性能优于现有方法如 [41] 和 [37]。
• 收敛速率在均方和几乎 surely 意义下为 $O(1/k^{\beta})$，其中 $\beta \in (0,1]$，且隐私水平 $\epsilon$ 随噪声方差增加而降低。