[논문 리뷰] Heavy Hitters and the Structure of Local Privacy

Mark Bun, Jelani Nelson외 1명|arXiv (Cornell University)|2017. 11. 13.

Cryptography and Data Security참고 문헌 17인용 수 5

한 줄 요약

이 논문은 악성 헤비 헤이터 문제에 대한 새로운 국소적 미분적 비밀유지 알고리즘을 제안하며, 최악의 경우 오차를 최적화하고, 실패 확률 β를 포함한 모든 표준 매개변수에 대해 날카러운 의존성을 확보한다. 저자들은 국소적 비밀유지 구조에 대한 정교한 이해를 바탕으로, 실패 확률 β를 포함한 오차에 대한 날카러운 하한을 증명하여, 모든 매개변수에서 최적임을 입증하고, 국소 모델에 고유한 고급 그룹 비밀유지 성질 또한 규명한다.

ABSTRACT

We present a new locally differentially private algorithm for the heavy hitters problem which achieves optimal worst-case error as a function of all standardly considered parameters. Prior work obtained error rates which depend optimally on the number of users, the size of the domain, and the privacy parameter, but depend sub-optimally on the failure probability. We strengthen existing lower bounds on the error to incorporate the failure probability, and show that our new upper bound is tight with respect to this parameter as well. Our lower bound is based on a new understanding of the structure of locally private protocols. We further develop these ideas to obtain the following general results beyond heavy hitters. $\bullet$ Advanced Grouposition: In the local model, group privacy for $k$ users degrades proportionally to $\approx \sqrt{k}$, instead of linearly in $k$ as in the central model. Stronger group privacy yields improved max-information guarantees, as well as stronger lower bounds (via "packing arguments"), over the central model. $\bullet$ Building on a transformation of Bassily and Smith (STOC 2015), we give a generic transformation from any non-interactive approximate-private local protocol into a pure-private local protocol. Again in contrast with the central model, this shows that we cannot obtain more accurate algorithms by moving from pure to approximate local privacy.

연구 동기 및 목표

• 최악의 경우 오차가 최적인 국소적 미분적 비밀유지 알고리즘을 설계하기 위해.
• 이전 연구에서 실패 확률 β에 대한 최적 의존성을 확보하지 못한 점을 보완하기 위해.
• 국소적 비밀유지 프로토콜의 구조에 대한 이론적 이해를 강화하기 위해.
• 국소 모델에서 그룹 비밀유지가 k에 대해 선형이 아니라 약 √k 비례로 악화됨을 입증하기 위해.
• 순수 비밀유지에서 약간의 비밀유지로의 이동이 정확도 향상에 기여하지 않음을, 약간의 비밀유지에서 순수 비밀유지 프로토콜로의 일반적 변환을 통해 보여주기 위해.

제안 방법

• Bassily 등(2015)의 기법과 [22]의 비비밀 프로토콜을 조합하여, 헤비 헤이터 문제에 대한 새로운 국소적 미분적 비밀유지 알고리즘을 제안한다.
• 국소적 비밀유지 프로토콜에서 상호정보량과 조건부 엔트로피의 정교한 분석을 도입하여, 더 날카러운 하한을 도출한다.
• 반정도 농도 정리(예: 정리 7.5 및 추론 7.6)를 사용하여 국소적 비밀유지 제약 조건 하에서 합 추정기의 분산을 제한한다.
• Chernoff 한계를 적용하여, 후행 엔트로피가 높은 '좋은' 색인의 수가 충분히 많은 전사본이 존재할 확률을 분석한다.
• 모든 비상호작용적 (ε, δ)-비밀유지 국소 프로토콜을 순수 ε-비밀유지 국소 프로토콜로 변환하는 일반적 변환을 개발하며, 국소 모델에서 약간의 비밀유지가 정확도 향상에 기여하지 않음을 입증한다.
• 패킹 추론과 정보이론적 도구를 활용하여, 오차 하한이 β에 대해 Ω(1/ε · √(n log(1/β))) 의존성을 가지며, 이는 상한과 정확히 일치함을 증명한다.

실험 결과

연구 질문

• RQ1 국소적 미분적 비밀유지 헤비 헤이터 프로토콜에서 실패 확률 β에 대한 최적 오차 의존성을 달성할 수 있는가?
• RQ2 더 날카러운 하한을 도출할 수 있도록 하는 국소적 비밀유지 프로토콜의 진정한 구조는 무엇인가?
• RQ3 국소 모델에서 그룹 비밀유지는 중심 모델과 비교해 어떻게 악화되는가?
• RQ4 약간의 국소 비밀유지는 순수 국소 비밀유지보다 정확도 측면에서 어떤 이점도 제공하는가?
• RQ5 정확도 손실 없이 약간의 국소 프로토콜을 순수 국소 프로토콜로 변환할 수 있는가?

주요 결과

• 제안된 알고리즘은 모든 매개변수, 특히 β에 대해 최적 의존성을 갖는 최악의 경우 오차 O(1/ε · √(n log(|X|/β)))를 달성한다.
• 오차 하한은 Ω(1/ε · √(n log(1/β)))이며, 이는 β에 대한 상한의 날카러움을 입증한다.
• 국소 모델에서 k명의 사용자에 대한 그룹 비밀유지는 중심 모델에서처럼 k에 선형적으로 악화되지 않고, 약 √k 비례로 악화된다.
• 논문은 약간의 국소 비밀유지가 순수 국소 비밀유지보다 더 정확한 알고리즘을 제공하지 않음을, 일반적 변환을 통해 입증한다.
• 분석 결과, 입력과 국소 보고 간의 상호정보량이 유계임을 밝혀내어, 합 추정을 위한 강력한 반정도 농도 추론이 가능해진다.
• 실패 확률 β는 오차 한계에서 log(1/β) 형태로 나타나며, 이 의존성이 날카럽다는 것이 증명되었다.