[논문 리뷰] Differentially Private Aggregation in the Shuffle Model: Almost Central Accuracy in Almost a Single Message

Badih Ghazi, Ravi Kumar외 3명|arXiv (Cornell University)|2021. 09. 27.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 셰플 모델에서 작동하는 차별적(private) 집계 프로토콜을 제안하며, 중앙 모델에서 라플라스 기법의 오차 수준에 근접한 정확도를 달성하면서도 각 사용자가 평균적으로 1 + o(1)개의 메시지만 전송함으로써 통신 오버헤드를 최소화한다. 관련된 노이즈 주입과 무작위 반올림을 통해 메시지 길이를 비공개 기준선에 가깝게 유지함으로써, 대규모 시스템에서 효율적이고 비공개적인 실수 집계를 가능하게 한다.

ABSTRACT

The shuffle model of differential privacy has attracted attention in the literature due to it being a middle ground between the well-studied central and local models. In this work, we study the problem of summing (aggregating) real numbers or integers, a basic primitive in numerous machine learning tasks, in the shuffle model. We give a protocol achieving error arbitrarily close to that of the (Discrete) Laplace mechanism in the central model, while each user only sends $1 + o(1)$ short messages in expectation.

연구 동기 및 목표

• 중앙 모델의 높은 정확도와 국지 모델의 강력한 프라이버시 간 격차를 메우기 위해.
• 실수 집계를 위한 셰플 모델 프로토콜을 설계하여 중앙 모델의 라플라스 기법 수준의 오차를 달성하기 위해.
• 통신 오버헤드를 최소화하여 사용자가 평균적으로 하나를 약간 넘는 메시지만 전송하도록 보장하기 위해.
• 강력한 프라이버시 제약 조건 하에서도 메시지 크기를 비공개 기준선에 가깝게 유지하기 위해.
• 통신 비용이 중요한 실시간 및 피어드 학습 환경에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 프로토콜은 실수를 유한 집합 {0, 1, ..., Δ}로 이산화하기 위해 무작위 반올림을 사용하여 문제를 Δ-합계 문제로 환원한다.
• 중앙 모델에서의 이산 라플라스 분포의 통계적 성질을 모방하는 상관 노이즈 기법을 도입한다.
• 각 사용자는 정밀하게 설계된 분포를 통해 평균적으로 1 + o(1)개의 메시지를 전송하는 랜덤한 수의 메시지를 보낸다. 이는 프라이버시와 정확도의 균형을 이루기 위함이다.
• 셰플러는 메시지를 무작위로 순서를 뒤섞어 각 개별 메시지가 차별적 프라이버시를 확보한다.
• 분석기는 섞인 메시지를 조합하고 반올림의 역함수를 적용하여 합을 복원함으로써 추정 오차를 최소화한다.
• 노이즈와 메시지 분포의 정교한 캘리브레이션을 통해 (ε, δ)-차별적 프라이버시를 달성한다.

실험 결과

연구 질문

• RQ1 셰플 모델에서 최소한의 통신 오버헤드로 근사 중앙 정확도를 달성할 수 있는가?
• RQ2 각 사용자가 1 + o(1)개의 메시지만 전송하면서도 강력한 프라이버시를 유지할 수 있는 프로토콜을 설계할 수 있는가?
• RQ3 강력한 (ε, δ)-DP 제약 조건 하에서도 메시지 크기를 비공개 기준선에 가깝게 유지할 수 있는가?
• RQ4 제안된 프로토콜의 오차는 RAPPOR, IKOS 및 중앙 라플라스 기법과 같은 기존 방법과 비교해 어떻게 되는가?
• RQ5 RAPPOR, IKOS 및 중앙 라플라스 기법과 비교해 오차와 통신 비용에서 어떻게 성능을 냈는가?

주요 결과

• 프로토콜은 임의의 ζ > 0에 대해 (1−ζ)ε 파라미터를 가진 라플라스 기법의 평균 제곱오차(MSE)에 임의로 가까운 값을 달성한다.
• 각 사용자는 평균적으로 1 + Õζ,ε(log(1/δ)/√n)개의 메시지를 전송하며, n이 증가함에 따라 점차 하나의 메시지에 수렴한다.
• 각 메시지는 단지 ½log n + O(log(1/ζ))비트만 포함하여, 하위항을 제외한 비공개 통신 비용과 일치한다.
• 특히 고해상도 이산화 수준(Δ=200)에서 RAPPOR과 IKOS보다 오차와 통신 비용에서 뛰어난 성능을 보인다.
• Δ=200일 때, 제안된 프로토콜의 RMSE는 RAPPOR의 절반 이하이며, 통신 오버헤드는 60% 이하로 유지된다.
• 통신 비용은 δ와 ε에 따라 변하지 않으며, 다른 프로토콜과 달리 1/δ에 비례해 증가하거나 ε에 따라 감소하지 않는다.