[논문 리뷰] Locally Differentially Private Heavy Hitter Identification

Tianhao Wang, Ninghui Li외 1명|arXiv (Cornell University)|2017. 08. 22.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 24

한 줄 요약

이 논문은 대규모 도메인에서 무거운 헤비히터를 식별하기 위해 사용자를 그룹화하여 점차 길어지는 값 접두어를 보고하는 국소적 미분적 비밀보장(Loacl Differential Privacy, LDP) 프로토콜인 접두어 연장 방법(Prefix Extending Method, PEM)을 제안한다. PEM은 최적화된 그룹 크기와 감소된 그룹 수 덕분에 기존 방법인 MCM 및 SPM보다 정확도에서 뚜렷이 뛰어나며, 도메인 크기가 증가할수록 그 성능이 더욱 두드러진다. 이는 노이즈 관리의 향상으로 인한 유틸리티 향상 덕분이다.

ABSTRACT

The notion of Local Differential Privacy (LDP) enables users to answer sensitive questions while preserving their privacy. The basic LDP frequent oracle protocol enables the aggregator to estimate the frequency of any value. But when the domain of input values is large, finding the most frequent values, also known as the heavy hitters, by estimating the frequencies of all possible values, is computationally infeasible. In this paper, we propose an LDP protocol for identifying heavy hitters. In our proposed protocol, which we call Prefix Extending Method (PEM), users are divided into groups, with each group reporting a prefix of her value. We analyze how to choose optimal parameters for the protocol and identify two design principles for designing LDP protocols with high utility. Experiments on both synthetic and real-world datasets demonstrate the advantage of our proposed protocol.

연구 동기 및 목표

• 국소적 미분적 비밀보장(LDP) 하에서 모든 값의 빈도 추정이 계산적으로 불가능한 대규모 도메인에서 무거운 헤비히터를 식별하는 데 도전하는 것.
• 계산 비용을 최소화하면서도 사용자 프라이버시를 유지하고 높은 유틸리티를 유지하는 LDP 프로토콜을 설계하는 것.
• 무거운 헤비히터 식별을 넘어서 다른 LDP 문제에 적용 가능한 일반적인 설계 원칙을 도출하는 것.
• 이론적 유틸리티 분석을 실증 실험을 통해 합성 및 실세계 데이터셋에서 검증하는 것.

제안 방법

• 사용자가 g개의 그룹으로 나뉘며, 각 그룹은 길이가 점차 증가하는 η인 접두어를 보고하고, 마지막 그룹은 전체 값을 보고한다.
• 집계자는 각 수준에서 빈도가 높은 접두어를 반복적으로 식별하며, 이전 단계의 결과를 기반으로 후보군을 잘라내어 검색 공간을 축소한다.
• 프로토콜은 그룹 간에 프라이버시 예산을 분할하며, 각 그룹이 한 번의 질문에만 응답함으로써 프라이버시 예산의 분산을 방지한다.
• 최적의 파rameter, 특히 세그먼트 길이 η는 그룹 크기와 후보 수 간의 균형을 고려한 유틸리티 분석을 통해 유도된다.
• 각 수준에서 빈도 오라클 프로토콜(예: OLH/OUE)을 활용하여 노이즈가 첨가된 접두어 빈도를 추정한다.
• 이론적 유틸리티 분석은 그룹 크기(유틸리티 향상)와 후보 수(정확도 감소) 사이의 트레이드오프를 모델링하며, 그룹 크기가 지배적임을 결론 내린다.

실험 결과

연구 질문

• RQ1 국소적 미분적 비밀보장 하에서 전체 빈도 추정이 불가능한 대규모 도메인에서 무거운 헤비히터 식별을 어떻게 효율적으로 수행할 수 있는가?
• RQ2 LDP 프로토콜에서 유틸리티를 극대화하기 위해 그룹 크기와 그룹 수 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 접두어 길이 증가량 η의 선택이 무거운 헤비히터 탐지의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 이 프로토콜에서 도출된 설계 원칙은 다른 LDP 문제로 일반화될 수 있는가?
• RQ5 PEM은 정확도와 확장성 측면에서 기존 방법인 MCM 및 SPM과 비교해 어떻게 정량적으로 성능을 냈는가?

주요 결과

• PEM은 도메인 크기가 증가할수록 MCM 및 SPM보다 뚜렷이 높은 정확도를 달성하며, 이는 감소된 그룹 수와 더 큰 그룹 크기 덕분이다.
• 유틸리티 분석 결과, 더 큰 그룹 크기가 증가한 후보 수보다 지배적이며, 적은 수의 더 큰 그룹이 더 효과적임을 확인했다.
• 조직적으로 최적화된 √n 채널을 가진 MCM조차도 PEM이 기존 방법을 능가함을 확인했다.
• 실증적 검증을 통해 이론적 유틸리티 예측이 합성 및 실세계 데이터셋에서 관측된 성능과 일치함을 확인했다.
• 두 가지 핵심 설계 원칙을 도출했다: (1) 사용자를 그룹화하여 각 그룹이 한 번의 질문에만 응답하도록 하고, (2) 그룹 수를 최소화하여 그룹 크기와 유틸리티를 극대화한다.
• 불리한 분포 조건에서도 프로토콜은 효과를 유지하지만, 성능은 여전히 분포 특성에 따라 달라진다.