[논문 리뷰] Privacy Amplification by Decentralization

Edwige Cyffers, Aurélien Bellet|arXiv (Cornell University)|2020. 12. 09.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 중앙 조정자가 없는 완전히 분산된 시스템에서 사용자가 네트워크 그래프를 통해 상호 작용할 때 자연스럽게 발생하는 국소적 차별적 편의성(Local Differential Privacy, LDP)의 일반화인 네트워크 차별적 편의성(Network Differential Privacy, network DP)을 소개한다. 사용자들이 네트워크에서 랜덤 워크를 수행하는 토큰을 통해 계산을 모델링함으로써, 저자들은 합계 계산, 히스토그램 계산, 확률적 경사 하강법 등에 대해 LDP보다 훨씬 뛰어난 개인정보-유용성 트레이드오프를 달성하는 알고리즘을 설계하였으며, 이는 종종 신뢰할 수 있는 코디네이터 모델과 동일한 성능을 보이며, 완전한 분산 아키텍처가 공식적으로 개인정보를 강화시킬 수 있음을 보여준다.

ABSTRACT

Analyzing data owned by several parties while achieving a good trade-off between utility and privacy is a key challenge in federated learning and analytics. In this work, we introduce a novel relaxation of local differential privacy (LDP) that naturally arises in fully decentralized algorithms, i.e., when participants exchange information by communicating along the edges of a network graph without central coordinator. This relaxation, that we call network DP, captures the fact that users have only a local view of the system. To show the relevance of network DP, we study a decentralized model of computation where a token performs a walk on the network graph and is updated sequentially by the party who receives it. For tasks such as real summation, histogram computation and optimization with gradient descent, we propose simple algorithms on ring and complete topologies. We prove that the privacy-utility trade-offs of our algorithms under network DP significantly improve upon what is achievable under LDP, and often match the utility of the trusted curator model. Our results show for the first time that formal privacy gains can be obtained from full decentralization. We also provide experiments to illustrate the improved utility of our approach for decentralized training with stochastic gradient descent.

연구 동기 및 목표

• 중앙 조정자가 없는 완전히 분산된 피어드 페더레이티드 러닝 및 분석 환경에서 강력한 개인정보-유용성 트레이드오프를 달성하는 데 도전한다.
• 분산 네트워크에서 사용자의 로컬 뷰를 반영하는 새로운 개인정보 보호 모델인 네트워크 차별적 편의성(network DP)을 체계화한다.
• 기존의 국소적 차별적 편의성(LDP)에서 가능한 것보다 더 높은 개인정보 보호 수준을 달성하기 위해 네트워크 구조를 활용하는 실용적인 분산 알고리즘을 설계한다.
• 중앙 조정자나 암호화 기반 집계 없이도 분산 아키텍처 자체가 공식적인 개인정보 보호 이점을 제공할 수 있음을 이론적·실험적으로 검증한다.

제안 방법

• 국소적 차별적 편의성(LDP)의 일반화인 네트워크 차별적 편의성(network DP)을 제안하며, 각 사용자의 네트워크 로컬 뷰와 이웃 간 상호작용 기반으로 개인정보 보호를 모델링한다.
• 계산을 네트워크 그래프 상에서 랜덤 워크를 수행하는 토큰으로 모델링하며, 각 노드는 토큰을 전달하기 전에 로컬로 업데이트한다.
• 링 및 완전 그래프 구조에서 실수 합계 계산, 히스토그램 계산, 확률적 경사 하강법에 대한 단순하고 효율적인 알고리즘을 설계한다.
• 랜덤 워크를 통한 개인정보 약화를 활용하여 효과적인 개인정보 유출 손실을 줄이며, 시간이 지남에 따라 기여가 원천으로부터 직접 추적 불가능하다는 사실을 활용한다.
• 사용자의 기여와 인접한 '스팟 기여'(spot contributions)의 개인정보 손실을 체르노프 불등식과 복합 정리(composition theorems)를 사용해 한계를 정의한다.
• 모르는 발신자/수신자 쌍에서의 개인정보 泄露를 제어하기 위해 간선 사용량을 제한하거나 임계치를 초과하면 실제 기여를 노이즈로 대체하는 실용적 전략을 적용한다.

(a) Theoretical bounds

실험 결과

연구 질문

• RQ1 피어드 페더레이티드 러닝에서 완전한 분산 아키텍처가 국소적 차별적 편의성(LDP)에서 달성 가능한 것보다 공식적인 개인정보 보호 이점을 제공할 수 있는가?
• RQ2 분산 네트워크의 구조(예: 링 또는 완전 그래프)가 분산 계산에서 개인정보-유용성 트레이드오프에 어떤 영향을 미치는가?
• RQ3 중앙 조정자가 없는 상태에서 네트워크 그래프 상의 랜덤 워크를 통해 얼마나 많은 개인정보 약화를 달성할 수 있는가?
• RQ4 사용자의 기여 바로 앞이나 뒤에 오는 '스팟 기여'(spot contributions)가 분산 시스템의 총 개인정보 손실에 어떤 영향을 미치는가?
• RQ5 암호화 기반 집계 없이도 네트워크 DP 기반 분산 알고리즘이 신뢰할 수 있는 코디네이터 모델 수준의 유용성에 도달할 수 있는가?

주요 결과

• 제안된 네트워크 DP 기반 알고리즘은 특히 고차원 또는 대규모 환경에서 기존의 국소적 차별적 편의성(LDP)보다 훨씬 뛰어난 개인정보-유용성 트레이드오프를 달성한다.
• 실수 합계 계산 및 히스토그램 계산과 같은 작업에서 네트워크 DP를 통한 개인정보 약화가 많은 경우에 신뢰할 수 있는 코디네이터 모델의 성능과 동일한 유용성을 보인다.
• 총 기여 수 T가 n²의 주기적 범위(Ω(n²))에 들어갈 경우, '스팟 기여'에서 발생하는 개인정보 손실은 무시할 수 있을 정도로 작아지며, 이는 이론적 한계에서의 동일한 개인정보 약화 정도를 회복한다.
• 실험 결과 네트워크 DP가 이산 히스토그램 계산 및 분산된 확률적 경사 하강법에서 개인정보-유용성 트레이드오프에서 상당한 실용적 성과를 보였다.
• 스팟 기여에서 발생하는 개인정보 손실은 체르노프 불등식과 복합 정리로 한계를 정의할 수 있으며, 사용자당 기여 수가 네트워크 크기 대비 충분히 많을 경우 이 손실은 무시할 수 있다.
• 실용적인 완화 전략—예를 들어 간선 사용량 제한 또는 실제 기여를 노이즈로 대체—는 유용성이나 수렴 속도에 큰 영향을 주지 않으면서도 개인정보 泄露를 효과적으로 제어할 수 있다.

(b) Empirical