[논문 리뷰] Federated Heavy Hitters Discovery with Differential Privacy

Wennan Zhu, Peter Kairouz외 3명|arXiv (Cornell University)|2019. 02. 22.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 13

한 줄 요약

이 논문은 원시 데이터를 수집하지 않고 사용자 생성 데이터 스트림에서 헤비 히터(빈도 높은 항목)를 탐지하기 위한 피어드, 프라이버시 보장 알고리즘을 제안한다. 트라이 데이터 구조를 통해 시퀀스 접두어에 대한 반복적이고 임계값 설정된 투표를 사용함으로써, 이 방법은 내재된 차별적 프라이버시를 달성한다 — 특히 n ≥ 10⁴일 경우 (2, 1/n²)-DP를 만족하며, 높은 유틸리티를 유지하면서 실용적 환경(예: 트위터 데이터 분석)에서 로컬 차별적 프라이버시보다 뛰어난 성능을 보인다.

ABSTRACT

The discovery of heavy hitters (most frequent items) in user-generated data streams drives improvements in the app and web ecosystems, but can incur substantial privacy risks if not done with care. To address these risks, we propose a distributed and privacy-preserving algorithm for discovering the heavy hitters in a population of user-generated data streams. We leverage the sampling and thresholding properties of our distributed algorithm to prove that it is inherently differentially private, without requiring additional noise. We also examine the trade-off between privacy and utility, and show that our algorithm provides excellent utility while also achieving strong privacy guarantees. A significant advantage of this approach is that it eliminates the need to centralize raw data while also avoiding the significant loss in utility incurred by local differential privacy. We validate our findings both theoretically, using worst-case analyses, and practically, using a Twitter dataset with 1.6M tweets and over 650k users. Finally, we carefully compare our approach to Apple's local differential privacy method for discovering heavy hitters.

연구 동기 및 목표

• 사용자 생성 데이터 스트림에서 빈도 높은 항목(예: 인기 있는 단어 또는 행동)을 탐지할 때 발생하는 프라이버시 리스크를 해결하기 위해.
• 헤비 히터 탐지에서 중심형과 로컬 차별적 프라이버시 모델 간의 유틸리티 격차를 메우기 위해.
• 원시 사용자 데이터를 수집하지 않고도 헤비 히터를 탐지할 수 있도록 하여 사용자 프라이버시를 보호하면서도 높은 유틸리티를 유지하기 위해.
• 특히 로컬 DP가 과도한 유틸리티 손실로 인해 비현실적인 경우가 되는 환경에서 애플의 로컬 DP 접근 방식에 대한 실용적인 대안을 제공하기 위해.
• 추가 노이즈를 추가하지 않고도 알고리즘이 내재적으로 차별적 프라이버시를 만족함을 공식적으로 증명하기 위해.

제안 방법

• 사용자가 이전에 발견된 인기 있는 접두어에 대해 한 글자씩 확장하는 데 투표하는 반복적이고 상호작용적인 피어드 프레임워크를 사용한다.
• 서버는 투표를 집계하고 임계값 θ 이하의 카운트를 가진 노드를 동적으로 제거하기 위해 트라이 데이터 구조를 유지한다.
• 각 라운드에서 랜덤으로 선택된 사용자 서브셋이 익명 투표를 전송하여 최소한의 데이터 노출과 일시적인 데이터 처리를 보장한다.
• 투표 과정의 샘플링 및 임계값 설정 특성을 활용하여 추가 노이즈를 투입하지 않아도 내재된 차별적 프라이버시를 달성한다.
• 이 알고리즘은 보안 집계 프rotocol와도 호환되며, 서버가 볼 수 있는 정보를 추가로 제한한다.
• 이론적 분석을 통해 시퀀스 길이가 ≤10일 경우 n ≥ 10⁴ 사용자에 대해 (2, 1/n²)-차별적 프라이버시를 만족함을 증명한다.

실험 결과

연구 질문

• RQ1 로컬 차별적 프라이버시의 유틸리티 손실을 피하면서 강력한 프라이버시 보장을 갖춘 피어드 접근 방식이 헤비 히터를 탐지할 수 있는가?
• RQ2 피어드 투표 메커니즘에서 샘플링과 임계값 설정의 조합이 추가 노이즈 없이 내재적으로 차별적 프라이버시를 제공하는가?
• RQ3 실제 데이터에서 이 방법의 유틸리티는 애플의 로컬 DP 접근 방식과 비교해 어떻게 되는가?
• RQ4 이 피어드 환경에서 프라이버시 파라미터(ε, δ)와 유틸리티(정밀도, 재현율) 사이의 트레이드오프는 어떠한가?
• RQ5 대규모 사용자 집단(예: n ≥ 10⁴)에서도 강력한 프라이버시와 높은 정확도를 유지하면서 효과적으로 확장 가능한가?

주요 결과

• 제안된 알고리즘은 n ≥ 10⁴ 사용자, 시퀀스 길이 ≤10일 경우 추가 노이즈 없이 (2, 1/n²)-차별적 프라이버시를 달성한다.
• 실제 트위터 데이터셋(160만 개 트윗, 65만 명 이상의 사용자)에서의 성능을 통해 높은 유틸리티를 유지함을 입증하였으며, 실용적 환경에서 로컬 DP보다 뛰어난 성능을 보였다.
• 중앙 집중형 DP 모델과 달리 원시 사용자 데이터를 중앙에 모아야 하는 필요 없이 강력한 프라이버시 보장을 제공한다.
• 애플의 로컬 DP 방법과 비교해 제안된 접근 방식은 특히 로컬 DP가 과도한 노이즈로 인해 비현실적이게 되는 환경에서 훨씬 뛰어난 유틸리티를 달성한다.
• 이론적 분석을 통해 샘플링 및 임계값 설정 메커니즘이 내재적으로 차별적 프라이버시를 보장함을 확인하였으며, 이는 정리 1과 추론 1에 의해 공식화되었다.
• 실험 결과는 이 알고리즘이 OOV 및 감성 분석 데이터셋에서 'dont', 'thats', '@mileycyrus'와 같은 상위 헤비 히터를 고도로 정확한 빈도로 성공적으로 식별함을 보여주었다.