[논문 리뷰] Differentially Private Bipartite Consensus over Signed Networks with Time-Varying Noises

Jimin Wang, Jieming Ke외 1명|arXiv (Cornell University)|2022. 12. 22.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 시간에 따라 변하는 노이즈 분산을 가진 서명된 다중 에이전트 네트워크를 위한 차별적(private) 이분법적 공감 알고리즘을 제안하며, 수렴성을 유지하면서도 향상된 프라이버시를 제공한다. 적응형 스텝 사이즈를 사용하는 확률적 근사법을 통해, 점점 커지는 프라이버시 노이즈 상황에서도 점차적으로 편향이 없는 평균 제곱 및 거의 확실한 공감을 달성한다. 이는 프라이버시 노이즈가 증가함에 따라 정해진 차별적 프라이버시 수준을 유지함을 보장한다.

ABSTRACT

This paper investigates the differentially private bipartite consensus algorithm over signed networks. The proposed algorithm protects each agent's sensitive information by adding noise with time-varying variances to the cooperative-competitive interactive information. In order to achieve privacy protection, the variance of the added noise is allowed to be increased, and substantially different from the existing works. In addition, the variance of the added noise can be either decaying or constant. By using time-varying step-sizes based on the stochastic approximation method, we show that the algorithm converges in mean-square and almost-surely even with an increasing privacy noise. We further develop a method to design the step-size and the noise parameter, affording the algorithm to achieve asymptotically unbiased bipartite consensus with the desired accuracy and the predefined differential privacy level. Moreover, we give the mean-square and almost-sure convergence rate of the algorithm, and the privacy level with different forms of the privacy noises. We also reveal the algorithm's trade-off between the convergence rate and the privacy level. Finally, a numerical example verifies the theoretical results and demonstrates the algorithm's superiority against existing methods.

연구 동기 및 목표

• 서명된 다중 에이전트 네트워크에서 이분법적 공감 과정 동안 개별 에이전트의 민감한 초기 상태를 보호하는 문제에 대응하기 위해.
• 이전 연구에서 요구하던 감쇠하는 프라이버시 노이즈를 완화하기 위해 시간에 따라 변하는 증가하는 노이즈 분산을 允허하기 위해.
• 점차적으로 편향이 없는 수렴성과 정해진 차별적 프라이버시 수준을 동시에 보장하는 공감 알고리즘을 설계하기 위해.
• 다양한 노이즈 구성 조건 하에서 수렴 속도와 프라이버시 수준 간의 상호 상충 관계를 정량화하기 위해.
• 원하는 정확도와 프라이버시 수준을 달성하기 위해 스텝 사이즈와 노이즈 파rameter를 체계적으로 조정하는 방법을 제공하기 위해.

제안 방법

• 시간에 따라 변하는 노이즈 메커니즘을 도입하여, 추가되는 프라이버시 노이즈의 분산이 시간이 지남에 따라 증가하도록 하며, 이는 이전 연구에서 요구하는 감쇠하는 노이즈와 다름.
• 스텝 사이즈가 $\alpha(k) = \frac{c}{(k+1)^\beta}$ 형태를 가지며 $\beta \in (0,1]$ 인 적응형 스텝 사이즈를 사용하는 확률적 근사 기반 접근법을 적용하여, 증가하는 노이즈 상황에서도 수렴을 보장한다.
• 서명된 그래프 구조를 통해 협력적 및 경쟁적 상호작용을 모두 통합한 제어기를 설계하여, 반대 부호의 합의를 달성하는 이분법적 공감을 가능하게 한다.
• 공감의 $\epsilon^\star$-차별적 프라이버시 및 $(s^\star, r^\star)$-정확도를 달성하기 위해 스텝 사이즈 및 노이즈 파rameter에 대한 조건을 유도한다.
• 이론적 분석을 통해 시간에 따라 변하는 노이즈와 적응형 스텝 사이즈 하에서 평균 제곱 및 거의 확실한 수렴성을 입증한다.
• 노이즈 증가율 $\gamma$ 가 $\epsilon$ 과 수렴 속도에 미치는 영향을 분석하여, 수렴 속도와 프라이버시 수준 간의 상호 상충 관계를 규명한다.

실험 결과

연구 질문

• RQ1 프라이버시 노이즈의 분산이 시간이 지남에 따라 감소하는 대신 증가할 경우, 차별적 프라이버시 보장 이분법적 공감을 달성할 수 있는가?
• RQ2 증가하는 프라이버시 노이즈 상황에서 수렴 속도와 거의 확실한 수렴을 보장하기 위해 시간에 따라 변하는 스텝 사이즈를 어떻게 설계할 수 있는가?
• RQ3 프라이버시 노이즈의 증가율과 결과적으로 도출되는 차별적 프라이버시 수준 $\epsilon$ 간의 관계는 무엇인가?
• RQ4 알고리즘의 수렴 속도는 노이즈 분산 프로파일과 스텝 사이즈 파rameter에 어떻게 의존하는가?
• RQ5 노이즈 분산이 증가함에 따라 정해진 프라이버시 수준 $\epsilon^\star$ 를 유지하면서도 점차적으로 편향이 없는 공감을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 증가하는 프라이버시 노이즈 분산 조건 하에서도 평균 제곱 및 거의 확실한 수렴성에서 점차적으로 편향이 없는 이분법적 공감을 달성한다.
• 조건 $\beta \in (0,1]$ 과 $\gamma < \beta - 1/2$ 를 만족할 경우 수렴이 보장되며, 여기서 $\beta$ 는 스텝 사이즈 감쇠를 제어하고 $\gamma$ 는 노이즈 분산 증가율을 제어한다.
• 적절한 노이즈 파rameter 조정을 통해 $\epsilon^\star > 0$ 인 임의의 $\epsilon^\star$ 에 대해 $\epsilon^\star$-차별적 프라이버시를 보장하며, 노이즈 분산이 증가하더라도 가능하다.
• 노이즈 증가율 $\gamma$ 가 증가할수록 수렴 속도는 느려지지만 프라이버시는 향상되어 $\epsilon$ 이 감소함을 확인하여 속도와 프라이버시 간의 상충 관계를 확인한다.
• 수치적 결과는 제안된 알고리즘이 프라이버시를 유지함(예: $y(k)$ 가 여전히 무작위 상태 유지)하면서도 기존 방법 [41] 및 [37]보다 프라이버시 보호 성능에서 뛰어남을 검증한다.
• 수렴 속도는 평균 제곱 및 거의 확실한 수렴 기준에서 $O(1/k^{\beta})$ 로 정량화되며, $\beta \in (0,1]$ 이고, 노이즈 분산이 증가할수록 프라이버시 수준 $\epsilon$ 이 감소한다.