[논문 리뷰] Private Counting from Anonymous Messages: Near-Optimal Accuracy with Vanishing Communication Overhead

Badih Ghazi, Ravi Kumar외 2명|arXiv (Cornell University)|2021. 06. 08.

Privacy-Preserving Technologies in Data인용 수 19

한 줄 요약

이 논문은 셰플드 모델에서 이진 합산과 히스토그램 집계를 위한 통신 효율적인 차별적(private) 알고리즘을 제안하며, 엄격한 프라이버시 제약 조건 하에서 거의 최적의 정확도—중앙 모델 성능에 근접한 수준—를 달성하면서도, 사용자당 통신량을 비프라이버시 기준과 동일하게 유지한다. 이 방법은 새로운 인코딩 전략과 하키스틱 분산 분석을 사용하여 오차를 최소화한다.

ABSTRACT

Differential privacy (DP) is a formal notion for quantifying the privacy loss of algorithms. Algorithms in the central model of DP achieve high accuracy but make the strongest trust assumptions whereas those in the local DP model make the weakest trust assumptions but incur substantial accuracy loss. The shuffled DP model (Bittau et al., 2017; Erlingsson et al., 2019; Cheu et al., 2019) has recently emerged as a feasible middle ground between the central and local models, providing stronger trust assumptions than the former while promising higher accuracies than the latter. In this paper, we obtain practical communication-efficient algorithms in the shuffled DP model for two basic aggregation primitives used in machine learning: 1) binary summation, and 2) histograms over a moderate number of buckets. Our algorithms achieve accuracy that is arbitrarily close to that of central DP algorithms with an expected communication per user essentially matching what is needed without any privacy constraints! We demonstrate the practicality of our algorithms by experimentally comparing their performance to several widely-used protocols such as Randomized Response (Warner, 1965) and RAPPOR (Erlingsson et al., 2014).

연구 동기 및 목표

• 분산 데이터 집계에서 통신 효율성, 정확도, 프라이버시 간의 상호 상충 관계를 해결한다.
• 셰플드 차별적(private) 프라이버시 모델 하에서 이진 합산과 히스토그램 집계를 위한 실용적인 프로토콜을 개발한다.
• 중앙 모델 성능에 근접한 정확도를 달성하면서도, 로컬 모델과는 달리 최소한의 신뢰를 요구한다.
• 사용자당 통신 오버헤드를 최소화하여 비프라이버시 시스템과 동일한 수준으로 유지함으로써 확장 가능한 구현을 가능하게 한다.
• 셰플드 모델에서 프라이버시-정확도-통신의 상호 상충 관계에 대한 이론적 및 실증적 검증을 제공한다.

제안 방법

• 사용자 입력을 노이즈가 통제된 메시지로 매핑하는 새로운 인코딩 체계를 도입하여, 셰플드 DP 하에서 정확한 집계를 가능하게 한다.
• 하키스틱 분산을 활용하여 프로토콜의 프라이버시 손실(ε, δ)을 공식적으로 경계함으로써, (ε, δ)-차별적(private) 프라이버시를 보장한다.
• 비대상 메시지를 하나의 결과로 통합함으로써, 프라이버시 경계 계산의 복잡도를 줄이기 위해 그룹화된 메시지 분석을 활용한다.
• O(n·polylog(n/δ)) 시간 내에 i.i.d. 랜덤 변수 합의 기대 양수 부분을 효율적으로 계산하기 위해 프루닝 기법을 적용한다.
• 동일한 핵심 프레임워크를 사용하여 이진 합산(카운팅)과 다중 버킷 히스토그램 모두를 위한 프로토콜을 설계한다.
• 기존 프로토콜인 랜덤라이즈드 리스폰스(Randomized Response)와 RAPPOR과의 실험적 비교를 통해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 셰플드 모델에서 이진 합산을 위한 차별적(private) 프로토콜을 설계할 수 있을까? 이는 거의 중앙 모델 성능에 근접한 정확도를 달성하면서도 최소한의 통신을 요구해야 한다.
• RQ2 셰플드 모델에서 강력한 프라이버시 보장을 유지하면서도 사용자당 통신 비용을 최소화할 수 있는 방법은 무엇인가?
• RQ3 제한된 통신 조건 하에서 셰플드 모델에서 히스토그램 집계의 이론적 정확도 한계는 무엇인가?
• RQ4 로컬 모델과 중앙 모델 모두를 능가하는 프라이버시-정확도-통신 상호 상충 관계를 달성할 수 있는가?
• RQ5 셰플드 모델에서 복잡한 그룹화된 메시지 분포의 프라이버시 파라미터(ε, δ)를 효율적으로 계산할 수 있는 방법은 무엇인가?

주요 결과

• 제안된 프로토콜은 중앙 모델 알고리즘의 추정 오차에 근접한 수준으로, 로컬 모델 기준보다 뚜렷이 뛰어난 성능을 보인다.
• 사용자당 기대 통신량은 渐近적으로 최적—비프라이버시 프로토콜의 통신 비용과 동일하다.
• 이진 합산의 경우, 프로토콜은 중앙 DP 하에서 이산 라플라스 기반 메커니즘의 제곱 오차와 일정 요소 범위 내에 머무른다.
• 이 방법은 중간 수준의 버킷 수에서 히스토그램 집계에 거의 최적의 정확도를 달성하면서도 통신 오버헤드를 최소화한다.
• 실증 평가 결과, 정확도 및 통신 효율성 측면에서 랜덤라이즈드 리스폰스와 RAPPOR보다 뛰어난 성능을 보였다.
• 그룹화된 메시지 분석과 기대 양수 부분의 효율적 계산을 활용함으로써, 대규모 환경에서의 프로토콜 실현 가능성을 확보한다.