[논문 리뷰] Sample and Threshold Differential Privacy: Histograms and applications

Akash Bharadwaj, Graham Cormode|arXiv (Cornell University)|2021. 12. 10.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 데이터 수집 과정에서 내재된 샘플링을 활용하여 명시적인 노이즈 추가 없이도 피드리스 환경에서 히스토GRAM 추정에 $(\epsilon,\delta)$-차별적 비밀보장(privacy)을 달성하는 샘플링-임계값 메커니즘을 제안한다. 이 방법은 정확한 빈도 추정을 제공하며, 헤비 허터스(heavy hitters) 및 히스토GRAM 쿼리에 대응할 수 있고, 최소한의 구현 오버헤드로 강력한 비밀보장을 제공한다.

ABSTRACT

Federated analytics seeks to compute accurate statistics from data distributed across users' devices while providing a suitable privacy guarantee and being practically feasible to implement and scale. In this paper, we show how a strong $(ε, δ)$-Differential Privacy (DP) guarantee can be achieved for the fundamental problem of histogram generation in a federated setting, via a highly practical sampling-based procedure that does not add noise to disclosed data. Given the ubiquity of sampling in practice, we thus obtain a DP guarantee almost for free, avoid over-estimating histogram counts, and allow easy reasoning about how privacy guarantees may obscure minorities and outliers. Using such histograms, related problems such as heavy hitters and quantiles can be answered with provable error and privacy guarantees. Experimental results show that our sample-and-threshold approach is accurate and scalable.

연구 동기 및 목표

• 피드리스 분석에서 차별적 비밀보장 히스토GRAM을 계산하는 실용적이고 효율적인 방법을 제공하는 것.
• 명시적인 노이즈 없이도 샘플링만으로도 빈도 추정에 대해 강력한 차별적 비밀보장 보장을 달성할 수 있음을 보여주는 것.
• 샘플링과 임계값을 조합하여 헤비 허터스, 히스토GRAM, 범위 쿼리에 대해 증명 가능한 오차 및 비밀보장 한계를 지원하도록 메커니즘을 확장하는 것.
• 이 접근법이 기존에 이미 사용자 샘플링을 수행하는 피드리스 시스템에 쉽게 통합되고 확장 가능함을 보여주는 것.
• 목표로 하는 $\epsilon$ 및 $\delta$ 값에 맞추어 샘플링 비율과 임계값을 설정하기 위한 정밀한 분석적 한계를 제공하는 것.

제안 방법

• 메커니즘은 포아송 샘플링을 사용하여 사용자 집합 중 무작위로 일부를 선택함으로써 차별적 비밀보장의 기초가 되는 불확실성을 도입한다.
• 각 클라이언트는 자신이 속한 항목(버킷으로 매핑됨)만 보고하고, 서버는 이를 집계하여 빈도 히스토GRAM을 생성한다.
• 사전 정의된 임계값 $\tau$ 이하의 빈도를 가진 항목들은 출력 히스토GRAM에서 제거되어 희귀 항목의 빈도 유출을 방지한다.
• 샘플링과 임계값의 조합은 샘플에 포함된 저빈도 항목이 전체 데이터셋에서의 진짜 빈도를 드러내지 않도록 보장한다.
• 이론적 분석을 통해 이 과정가 $(\epsilon,\delta)$-차별적 비밀보장 조건을 만족하며, 이는 샘플링 비율과 임계값에 기반한 한계로 도출된다.
• 이 방법은 이미 샘플링이 일반적인 피드리스 환경을 고려하여 설계되었으며, 구현 비용 측면에서 실제로 '무료'에 가까운 비밀보장 메커니즘이다.

실험 결과

연구 질문

• RQ1 명시적인 노이즈 추가 없이도 샘플링만으로도 히스토GRAM 추정에 대해 강력한 $(\epsilon,\delta)$-차별적 비밀보장 보장을 제공할 수 있는가?
• RQ2 샘플링과 임계값을 어떻게 조합하여 비밀보장을 확보하면서도 정확한 빈도 추정을 유지할 수 있는가?
• RQ3 이 메커니즘을 헤비 허터스 및 히스토GRAM 쿼리에 대해 얼마나 넓게 확장할 수 있으며, 증명 가능한 오차 및 비밀보장 한계를 확보할 수 있는가?
• RQ4 목표로 하는 $\epsilon$ 및 $\delta$ 값에 맞추어 샘플링 비율과 임계값을 설정하기 위한 정밀한 분석적 한계는 무엇인가?
• RQ5 기존의 셔플링 및 로컬 차별적 비밀보장 모델과 비교해 볼 때, 이 접근법은 효율성과 비밀보장 강화 측면에서 어떤가?

주요 결과

• 샘플링-임계값 메커니즘은 명시적인 노이즈 추가 없이도 $(\epsilon,\delta)$-차별적 비밀보장을 달성하며, 이는 샘플링에 의해 유도된 불확실성에 기반한다.
• 이 방법은 입력 데이터셋 내 항목에 대해 정확한 빈도 추정을 제공하며, 오차 한계는 샘플링 비율과 임계값에 비례하여 적절히 스케일링된다.
• 실험 결과는 이 접근법이 정확하고 확장 가능함을 확인하며, 실제 피드리스 환경에서 잘 작동함을 보여준다.
• 이 메커니즘은 비밀보장 히스토GRAM을 기반으로 하여 후속 분석, 예를 들어 헤비 허터스 및 히스토GRAM 추정을 자연스럽게 지원한다.
• 샘플링이 이미 피드리스 시스템에서 일반적으로 사용되고 있기 때문에 이 접근법은 매우 실용적이며, 비밀보장 메커니즘은 경량이며 쉽게 배포할 수 있다.
• 이론적 분석을 통해 비밀보장 보장이 정밀하며, 샘플링 비율과 임계값을 사용하여 목표로 하는 $\epsilon$ 및 $\delta$ 수준을 정밀하게 캘리브레이션할 수 있음이 입증되었다.