[논문 리뷰] Privacy Amplification via Compression: Achieving the Optimal Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation

Weining Chen, Dan Song외 2명|arXiv (Cornell University)|2023. 04. 04.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 $(\varepsilon,\delta)$-미분적 보호를 만족하는 분산 평균 추정에 대해 압축 기반의 프라이버시 강화 기법을 제안하며, 프라이버시, 통신, 정확도 사이의 최적의 트레이드오프를 달성한다. 클라이언트가 자신의 데이터에서 무작위로 선택된 부분만 통신함으로써 클라이언트 측 무작위성에 기반한 프라이버시 강화를 실현하고, 통신량을 크게 줄일 수 있다. 이로 인해 플러스러인 학습(FL)에서는 $\Theta(n\min(\varepsilon,\varepsilon^2))$ 비트, 분석(FA)에서는 $\Theta(\log(n\min(\varepsilon,\varepsilon^2)))$ 비트로까지 감소시키며, $\ell_2$ 오차는 순서적으로 최적을 유지한다.

ABSTRACT

Privacy and communication constraints are two major bottlenecks in federated learning (FL) and analytics (FA). We study the optimal accuracy of mean and frequency estimation (canonical models for FL and FA respectively) under joint communication and $(\varepsilon, δ)$-differential privacy (DP) constraints. We show that in order to achieve the optimal error under $(\varepsilon, δ)$-DP, it is sufficient for each client to send $Θ\left( n \min\left(\varepsilon, \varepsilon^2 ight) ight)$ bits for FL and $Θ\left(\log\left( n\min\left(\varepsilon, \varepsilon^2 ight) ight) ight)$ bits for FA to the server, where $n$ is the number of participating clients. Without compression, each client needs $O(d)$ bits and $\log d$ bits for the mean and frequency estimation problems respectively (where $d$ corresponds to the number of trainable parameters in FL or the domain size in FA), which means that we can get significant savings in the regime $ n \min\left(\varepsilon, \varepsilon^2 ight) = o(d)$, which is often the relevant regime in practice. Our algorithms leverage compression for privacy amplification: when each client communicates only partial information about its sample, we show that privacy can be amplified by randomly selecting the part contributed by each client.

연구 동기 및 목표

• 공동 제약 조건 하에서 분산 평균 추정에서 프라이버시, 통신, 정확도 사이의 최적 트레이드오프를 이해하는 데서 발생하는 격차를 메우기 위해.
• 플러스러인 학습과 분석에서 정확도나 프라이버시를 희생시키지 않고 통신 효율성을 향상시킬 수 있는지 조사하기 위해.
• 클라이언트가 더 적은 정보를 전송하면서도 최적의 프라이버시-정확도-통신 트레이드오프를 달성할 수 있는 방법을 개발하기 위해.
• 중앙 및 다중 메시지 셰플링 DP 모델에 대해 압축을 통한 프라이버시 강화를 확장하여 신뢰성 있고 효율적인 보장을 확보하기 위해.

제안 방법

• 클라이언트는 자신의 데이터에서 무작위로 선택된 부분(예: 무작위로 선택된 모델 파라미터 또는 히스토GRAM 항목)만 통신하여 통신 부담을 줄인다.
• 각 클라이언트가 데이터의 부분을 선택하는 데에 무작위성을 도입함으로써 프라이버시 강화를 달성하며, 서버는 특정 부분이 특정 클라이언트로부터 온 것임을 연결할 수 없다.
• 중앙 DP 모델에서는 서버가 압축된 데이터를 수신하고 집계하여 통신을 줄이면서도 최적의 $\ell_2$ 오차를 달성한다.
• 다중 메시지 셰플링 모델에서는 각 클라이언트가 안전한 셰플러를 통해 선택된 데이터 부분을 국소적으로 프라이버시 처리하고 익명화함으로써 신뢰할 수 있는 서버가 필요 없게 된다.
• 셰플링 환경에서 최적의 프라이버시 보장을 유지하기 위해 다수의 라운드에 걸쳐 프라이버시 예산을 분할 전략으로 활용한다.
• 이론적 분석을 통해 $\ell_2$ 오차가 순서적으로 최적이며, 로그 인자들을 제외한 $O\left(\frac{C^2 d}{n^2 \min(\varepsilon^2, \varepsilon)}\right)$ 오차를 달성함을 입증한다.

(a)

실험 결과

연구 질문

• RQ1 분산 평균 추정에서 정확도나 프라이버시를 떨어뜨리지 않고 통신 부담을 줄일 수 있는가?
• RQ2 클라이언트 데이터의 무작위 압축이 프라이버시 강화를 유도하는가? 만약 그렇다면 어떤 조건에서 가능한가?
• RQ3 중앙 및 다중 메시지 셰플링 DP 모델 모두에서 최적의 프라이버시-정확도-통신 트레이드오프를 달성할 수 있는가?
• RQ4 $(\varepsilon,\delta)$-DP 하에서 순서적으로 최적의 $\ell_2$ 오차를 달성하기 위해 필요한 최소 통신 비용은 얼마인가?
• RQ5 기존의 로컬 및 셰플링 DP 메커니즘과 비교하여 제안된 방법의 실용적 성능은 어떻게 되는가?

주요 결과

• 제안된 방법은 $(\varepsilon,\delta)$-DP 하에서 $\ell_2$ 오차가 순서적으로 최적이며, 로그 인자들을 제외한 $O\left(\frac{C^2 d}{n^2 \min(\varepsilon^2, \varepsilon)}\right)$ 오차를 달성한다.
• 플러스러인 학습에서는 클라이언트가 $\Theta(n\min(\varepsilon,\varepsilon^2))$ 비트, 빈도 추정에서는 $\Theta(\log(n\min(\varepsilon,\varepsilon^2)))$ 비트만 전송해도 최적의 정확도를 달성할 수 있다.
• 고프라이버시 영역($\varepsilon \leq 0.5$)에서 CSGM은 $d=500$일 때 10배 압축, $d=5000$일 때 100배 압축을 달성하며 평균 제곱 오차에 손실 없이 유지한다.
• 고정된 통신 예산 10비트 하에서 CSGM은 평균 제곱 오차 측면에서 셰플링-DP 및 로컬-DP 메커니즘을 모두 능가한다.
• 실제로 흔히 발생하는 $n\min(\varepsilon,\varepsilon^2) = o(d)$ 조건 하에서도 압축을 통한 프라이버시 강화가 효과적이며, 상당한 통신 절감 효과를 낳는다.
• 셰플링 기반 변형은 중앙 모델과 동일한 최적의 트레이드오프를 달성하며 신뢰할 수 없는 환경에서도 구현이 가능하도록 신뢰할 수 있는 서버가 필요 없게 한다.

(b)