[논문 리뷰] Pan-private Algorithms: When Memory Does Not Help

Darakhshan Mir, S. Muthukrishnan외 2명|arXiv (Cornell University)|2010. 09. 08.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 3

한 줄 요약

이 논문은 내부 메모리가 유출될 경우에도 차별적 비밀리에 보장되는 차별적 비밀리 보장 기반으로, 기본적인 카운팅 작업—고유 수와 헤비 허터—에 대한 향상된 팬-프라이빗 스트리밍 알고리즘을 제시한다. 노이즈가 섞인 스케치 기법을 사용하여, 메모리가 무제한일 경우 정확도 향상이 거의 없음을 입증하고, 노이즈 디코딩을 통한 엄밀한 하한을 도출함으로써 고유 수 추정에 대해 최적의 가감 오차 한계를 달성하고, 헤비 허터에 대해 최악의 경우 O(k) 근사치를 확보한다.

ABSTRACT

Consider updates arriving online in which the $t$th input is $(i_t,d_t)$, where $i_t$'s are thought of as IDs of users. Informally, a randomized function $f$ is {\em differentially private} with respect to the IDs if the probability distribution induced by $f$ is not much different from that induced by it on an input in which occurrences of an ID $j$ are replaced with some other ID $k$ Recently, this notion was extended to {\em pan-privacy} where the computation of $f$ retains differential privacy, even if the internal memory of the algorithm is exposed to the adversary (say by a malicious break-in or by fiat by the government). This is a strong notion of privacy, and surprisingly, for basic counting tasks such as distinct counts, heavy hitters and others, Dwork et al~\cite{dwork-pan} present pan-private algorithms with reasonable accuracy. The pan-private algorithms are nontrivial, and rely on sampling. We reexamine these basic counting tasks and show improved bounds. In particular, we estimate the distinct count $\Dt$ to within $(1\pm \eps)\Dt \pm O(\polylog m)$, where $m$ is the number of elements in the universe. This uses suitably noisy statistics on sketches known in the streaming literature. We also present the first known lower bounds for pan-privacy with respect to a single intrusion. Our lower bounds show that, even if allowed to work with unbounded memory, pan-private algorithms for distinct counts can not be significantly more accurate than our algorithms. Our lower bound uses noisy decoding. For heavy hitter counts, we present a pan private streaming algorithm that is accurate to within $O(k)$ in worst case; previously known bound for this problem is arbitrarily worse. An interesting aspect of our pan-private algorithms is that, they deliberately use very small (polylogarithmic) space and tend to be streaming algorithms, even though using more space is not forbidden.

연구 동기 및 목표

• 무제한 메모리가 팬-프라이빗 알고리즘의 기본 카운팅 작업에서 정확도를 향상시킬 수 있는지 여부에 대한 근본적인 질문을 다루는 것.
• 내부 상태가 공격자에게 노출될 경우에도 차별적 비밀리 보장을 유지하는 팬-프라이빗 스트리밍 알고리즘을 설계하는 것.
• 고유 수 추정에 대한 팬-프라이빗 알고리즘의 정확도에 대해 엄밀한 하한을 확립하여, 메모리가 도움이 되지 않음을 보여주는 것.
• 최악의 경우 O(k) 근사 오차를 갖는 첫 번째 팬-프라이빗 스트리밍 알고리즘을 개발하는 것.
• 양수 및 음수 업데이트를 모두 포함하는 문제에서 팬-프라이버시의 한계를 탐색하는 것.

제안 방법

• 스트리밍 문헌에서 유래한 노이즈가 섞인 스케치 기법을 사용하여, (1±ε)D ± O(polylog m)의 가감 오차로 고유 수를 추정한다.
• 스케치 위에 무작위 응답 메커니즘을 적용하여, 내부 상태가 노출되어도 팬-프라이버시를 보장한다.
• 노이즈 디코딩 접근법을 사용하여 하한을 입증하여, 무제한 메모리가 있더라도 제안된 알고리즘보다 훨씬 뛰어난 정확도를 달성할 수 없는 팬-프라이빗 알고리즘이 있음을 보여준다.
• 쌍방향 독립 해싱과 노이즈 주입을 통해 내적과 자르기된 빈도 모멘트(T₂)를 위한 무작위 추정기법을 사용한다.
• 노이즈가 섞인 스케치 과정에서 추정 오차를 제한하기 위해 Hoeffding의 부등식을 활용한다.
• 알려진 F₁에 대한 가정을 완화하기 위해, 지수적으로 증가하는 F₁ 추정치를 갖는 다중 병렬 인스턴스를 실행하고, 질의 시 가장 잘 맞는 것을 선택한다.

실험 결과

연구 질문

• RQ1 무제한 메모리가 주어졌을 경우 팬-프라이빗 알고리즘이 고유 수 추정에서 훨씬 뛰어난 정확도를 달성할 수 있는가?
• RQ2 무제한 스토리지가 있더라도 팬-프라이빗 알고리즘의 고유 수 추정 정확도에 대한 근본적인 한계는 무엇인가?
• RQ3 최악의 경우 오차가 유한한 팬-프라이빗 스트리밍 알고리즘을 고유 수 추정에 대해 설계할 수 있는가?
• RQ4 노이즈가 섞인 스케치의 사용이 팬-프라이빗 계산에서 프라이버시와 유효성의 상호 보완 관계에 어떤 영향을 미치는가?
• RQ5 표준 스트리밍 기법이 메모리 노출 상황에서도 팬-프라이버시를 충족하도록 얼마나 잘 적응될 수 있는가?

주요 결과

• 논문은 노이즈 디코딩 논증을 통해, 고유 수 추정에 대한 팬-프라이빗 알고리즘이 무제한 메모리가 있더라도 O(polylog m) 이내의 가감 오차를 초과할 수 없음을 입증한다.
• 제안된 팬-프라이빗 스트리밍 알고리즘은 고유 수 D(t)를 (1±ε)D(t) ± O(polylog m) 범위 내에서 추정하며, 이는 정보 이론적 하한과 정확히 일치한다.
• 헤비 허터 수에 대해선 최악의 경우 O(k) 근사 오차를 갖는 팬-프라이빗 알고리즘을 설계하여 이전에 알려진 임의의 악화된 오차 한계를 향상시켰다.
• 제안된 알고리즘은 메모리 크기가 제한되지 않았음에도 불구하고 본질적으로 스트리밍 기반으로 작동하며, 오직 다항로그리듬 공간만을 사용한다.
• 노이즈 스케치와 무작위 응답의 사용이 메모리 크기 제약 없이 팬-프라이버시를 달성할 수 있음을 보여주며, 메모리 크기가 정확도 향상에 기여하지 않음을 입증한다.
• 자르기된 내적 추정기 ˜(a·a′)(τ)가 팬-프라이버시를 유지하면서도 편향이 없으며, Hoeffding의 부등식에 의해 오차가 제한됨을 보였다.