[논문 리뷰] Practical Locally Private Heavy Hitters

Raef Bassily, Kobbi Nissim외 2명|arXiv (Cornell University)|2017. 07. 17.

Cryptography and Data Security참고 문헌 12인용 수 39

한 줄 요약

이 논문은 최적의 worst-case 오차를 거의 달성하면서도 효율성이 크게 향상된 두 가지 새로운 국소적 차별적 프라이버시(LO) 히비 헤이터 알고리즘인 TreeHist와 Bitstogram을 소개한다. 두 알고리즘은 각각 서버와 사용자 실행 시간을 Õ(n)과 Õ(1)으로 줄여 이전 연구에서 요구했던 O(n^5/2) 및 O(n^3/2) 시간에 비해 근본적으로 향상시켰다. 저자들은 TreeHist를 구현하여 유리한 조건에서 Google의 RAPPOR보다 낮은 노이즈 수준을 기록함을 확인했다.

ABSTRACT

We present new practical local differentially private heavy hitters algorithms achieving optimal or near-optimal worst-case error and running time -- TreeHist and Bitstogram. In both algorithms, server running time is $ ilde O(n)$ and user running time is $ ilde O(1)$, hence improving on the prior state-of-the-art result of Bassily and Smith [STOC 2015] requiring $O(n^{5/2})$ server time and $O(n^{3/2})$ user time. With a typically large number of participants in local algorithms ($n$ in the millions), this reduction in time complexity, in particular at the user side, is crucial for making locally private heavy hitters algorithms usable in practice. We implemented Algorithm TreeHist to verify our theoretical analysis and compared its performance with the performance of Google's RAPPOR code.

연구 동기 및 목표

• 사용자 측에서의 시간 복잡도를 줄여 국소적 프라이버시 히비 헤이터의 실용성 격차를 해소한다.
• 근사적으로 최적의 worst-case 오차를 갖는 알고리즘을 설계하고, 통신, 저장, 계산 오버헤드를 최소화한다.
• 이전 국소적 차별적 프라이버시 알고리즘의 높은 계산 비용으로 인해 실생활 적용이 제한된 문제를 해결한다.
• Apple의 구현과 같은 히우리스틱 접근 방식과 달리 오차와 서버 실행 시간에 대해 증명 가능한 경계를 제공한다.
• 이론적 개선 사항을 실제 코드 구현과 RAPPOR에 대한 벤치마킹을 통해 검증한다.

제안 방법

• TreeHist는 계층적 트리 구조를 사용하여 재귀적 해싱과 오류 수정 코드를 통해 빈도를 추정한다.
• Bitstogram은 도메인 요소를 비트 스트링으로 인코딩하고, 무작위 투영에 기반한 빈도 오라클(Hashtogram)을 적용한다.
• 두 알고리즘 모두 국소적 차별적 프라이버시를 보장하기 위해 정밀하게 조정된 노이즈 파rameter를 갖는 랜덤라이즈드 리스폰스를 사용한다.
• 포isson 및 체르노프 농도 경계를 활용하여 노이즈 하에서 정확한 히비 헤이터 복구 확률을 분석한다.
• 오류 수정 코드를 적용하여 노이즈가 섞인 해시 응답에서 높은 확률로 원래 값을 재구성한다.
• 질의를 그룹화하고 중복 계산을 최소화하여 Õ(n) 시간 내에 데이터를 처리하도록 최적화한다.

실험 결과

연구 질문

• RQ1 국소적 프라이버시 히비 헤이터를 O(n)의 서버 및 사용자 시간 복잡도로 계산하면서도 근사적으로 최적의 오차를 유지할 수 있는가?
• RQ2 실제 조건에서 TreeHist의 노이즈 및 정확도는 RAPPOR에 비해 어떻게 비교되는가?
• RQ3 히우리스틱에 의존하지 않고 국소 모델에서 오차와 실행 시간에 대해 증명 가능한 경계를 확보할 수 있는가?
• RQ4 계층적 해싱과 비트 스트링 인코딩은 히비 헤이터 추정의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 이전 국소 알고리즘의 시간 복잡도를 O(n^5/2) 및 O(n^3/2)에서 근사 선형으로 줄일 수 있는가?

주요 결과

• TreeHist와 Bitstogram은 각각 서버 시간 복잡도 Õ(n), 사용자 시간 복잡도 O(max(log n, log d)^2)를 달성하여 Bassily와 Smith(2015)의 O(n^5/2) 및 O(n^3/2)에 비해 근본적인 향상이 이루어졌다.
• Bitstogram은 최적의 worst-case 오차를 달성하지만, TreeHist는 오직 √log n 요소만 차이가 나는 거의 최적의 오차를 기록한다.
• TreeHist의 구현 결과, RAPPOR에 유리한 도메인 크기 범위에서 RAPPOR보다 낮은 노이즈 수준을 기록하여 더 높은 정확도를 입증했다.
• 알고리즘은 ϵ-국소 프라이버시를 보장하며, 오차가 제한된 조건에서 높은 확률로 히비 헤이터를 정확히 복구한다.
• 저주선 빈도 후보를 조기에 기각하고 스트리밍 방식으로 질의 결과를 처리함으로써 메모리 사용량을 Õ(√n)으로 줄였다.
• 이론적 분석을 통해 높은 확률로 빈도 ≥264n^1.5/T인 모든 히비 헤이터가 정확히 복구됨을 확인했다.