[논문 리뷰] Differentially Private Distributed Computation via Public-Private Communication Networks

Lei Wang, Yang Liu외 2명|arXiv (Cornell University)|2021. 01. 05.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 4

한 줄 요약

이 논문은 희소한 개인 네트워크를 통해 노이즈를 주입하면서도 합 일致성을 유지하는 다중 게시(Public-Private) 통신 네트워크 프레임워크를 제안한다. 이는 분산 계산에서 미세한 차별적 비밀유지 수준을 임의의 확률로 달성할 수 있으며, 평균 공감, 선형 방정식, 볼록 최적화 작업에서 적응형 노이즈와 계산 단계를 통해 정확성을 보장한다.

ABSTRACT

This paper studies the problem of multi-agent computation under the differential privacy requirement of the agents' local datasets against eavesdroppers having node-to-node communications. We first propose for the network equipped with public-private networks. The private network is sparse and not even necessarily connected, over which communications are encrypted and secure along with the intermediate node states; the public network is connected and may be dense, over which communications are allowed to be public. In this setting, we propose a multi-gossip PPSC mechanism over the private network, where at each step, randomly selected node pairs update their states in such a way that they are shuffled with random noise while maintaining summation consistency. We show that this mechanism can achieve any desired differential privacy level with any prescribed probability. Next, we embed this mechanism in distributed computing processes, and propose privacy-guarantee protocols for three basic computation tasks, where an adaptive mechanism adjusts the amount of noise injected in PPSC steps for privacy protection, and the number of regular computation steps for accuracy guarantee. For average consensus, we develop a PPSC-Gossip averaging consensus algorithm by utilizing the multi-gossip PPSC mechanism for privacy encryption before an averaging consensus algorithm over the public network for local computations. For network linear equations and distributed convex optimization, we develop two respective distributed computing protocols by following the PPSC-Gossip averaging consensus algorithm with an additional projection or gradient descent step within each step of computation. Given any privacy and accuracy requirements, it is shown that all three proposed protocols can compute their corresponding problems with the desired computation accuracy, while achieving the desired differential privacy.

연구 동기 및 목표

• 다중 에이전트 분산 계산 환경에서 도청 위협 하에 민감한 국지 데이터셋을 보호하는 데 도전하는 것.
• 분산 시스템에서 계산 정확도, 수렴 효율성, 차별적 비밀유지 간의 상충 관계를 제거하는 것.
• 기초적인 분산 계산 작업에 대해 강력한 비밀유지 보장을 제공하면서도 높은 정확도를 확보하는 프로토콜을 설계하는 것.
• 적응형 노이즈 주입과 계산 스케줄링을 통해 임의의 비밀유지 예산과 정확도 수준을 가능하게 하는 것.

제안 방법

• 공개-비공개 통신 네트워크를 도입: 공개 네트워크는 밀도가 높고 연결되어 있어 공개 통신을 위해 사용되며, 비공개 네트워크는 희소하고 가능하면 비연결 상태일 수 있어 보안 및 암호화된 통신를 위해 사용된다.
• 노드 상태에 무작위 노이즈를 주입하면서도 네트워크 전반의 상태 합을 유지하는 다중 게시(Public-Private) 보존/합 일치성(PPSC) 메커니즘을 개발한다.
• 필정된 확률로 원하는 모든 차별적 비밀유지 수준을 달성하기 위해 PPSC 단계에서 적응형 노이즈 스케일링을 사용한다.
• 평균 공감, 네트워크 선형 방정식, 분산 볼록 최적화 알고리즘에 PPSC 메커니즘을 통합한다.
• 정확도를 유지하기 위해 PPSC 업데이트 이후 투영 또는 경사 하강 단계를 통합한다.
• 확률적 분석을 활용하여 모든 노드가 충분히 자주 업데이트되도록 하여 도청 상황에서도 강력한 차별적 비밀유지를 보장한다.

실험 결과

연구 질문

• RQ1 도청 공격 하에서 분산 시스템이 높은 계산 정확도와 강력한 차별적 비밀유지를 동시에 달성할 수 있는가?
• RQ2 다중 에이전트 시스템에서 차별적 비밀유지를 보장하면서도 합 일치성을 유지할 수 있도록 노이즈 주입을 어떻게 설계할 수 있는가?
• RQ3 적응형 노이즈 스케줄링을 통해 분산 계산에서 비밀유지와 정확도 간의 상충 관계를 제거할 수 있는가?
• RQ4 수렴성과 정확성에 최소한의 영향을 미치면서도 증명 가능한 비밀유지를 가능하게 하는 네트워크 아키텍처는 무엇인가?
• RQ5 기존의 분산 알고리즘(공감, 선형 시스템, 최적화)을 어떻게 공개-비공개 통신 모델을 통해 차별적 비밀유지 지원이 가능하도록 확장할 수 있는가?

주요 결과

• 충분한 노이즈 주입과 충분한 반복 업데이트를 통해 PPSC 메커니즘이 임의의 확률로 원하는 모든 차별적 비밀유지 수준을 달성한다.
• 메커니즘은 네트워크 전반에서 합 일치성을 유지하여 노이즈 주입에도 불구하고 정확한 계산을 가능하게 한다.
• PPSC-게시 평균 공감 알고리즘은 비공개 네트워크에서 노이즈 보호된 상태 업데이트 후 공개 네트워크를 통해 정확한 평균 계산을 달성한다.
• 네트워크 선형 방정식 및 분산 볼록 최적화를 위한 제안된 프로토콜은 적응형 노이즈 제어와 반복 정밀화를 통해 원하는 정확도와 차별적 비밀유지를 동시에 달성한다.
• 수치적 결과는 동일한 비밀유지 예산 하에서 기존 방법에 비해 분류 작업에서 향상된 학습 정확도를 보여준다.
• 이론적 분석은 프로토콜이 사용자 정의 매개변수로 차별적 비밀유지를 충족하며, 충분한 계산 단계를 통해 오차 범위를 임의로 작게 만들 수 있음을 확인한다.