[논문 리뷰] Privately Answering Counting Queries with Generalized Gaussian Mechanisms

Arun Ganesh, Jiazheng Zhao|arXiv (Cornell University)|2020. 10. 04.

Privacy-Preserving Technologies in Data참고 문헌 12인용 수 2

한 줄 요약

이 논문은 형상 매개수 p를 가진 일반화된 가우시안 노이즈를 사용하여 k개의 카운팅 쿼리에 대한 차별적(private) 메커니즘을 제안한다. 이로 인해 ℓ∞-오차는 O(√(k log log log k log(1/δ))/ϵ)에 도달하며, 이는 기존에 알려진 최상의 상한과 하한 사이의 오차 갭을 O(√log log k)에서 O(√log log log k)로 좁히는 데 성공한다. 이 방법은 일반화된 가우시안 메커니즘과 스퍼스 벡터 기법을 조합하여 높은 오차를 가진 항목들을 차별적으로 정밀하게 보정한다.

ABSTRACT

We consider the problem of answering $k$ counting (i.e. sensitivity-1) queries about a database with $(ε, δ)$-differential privacy. We give a mechanism such that if the true answers to the queries are the vector $d$, the mechanism outputs answers $ ilde{d}$ with the $\ell_\infty$-error guarantee: $$\mathcal{E}\left[|| ilde{d} - d||_\infty ight] = O\left(\frac{\sqrt{k \log \log \log k \log(1/δ)}}ε ight).$$ This reduces the multiplicative gap between the best known upper and lower bounds on $\ell_\infty$-error from $O(\sqrt{\log \log k})$ to $O(\sqrt{\log \log \log k})$. Our main technical contribution is an analysis of the family of mechanisms of the following form for answering counting queries: Sample $x$ from a extit{Generalized Gaussian}, i.e. with probability proportional to $\exp(-(||x||_p/σ)^p)$, and output $ ilde{d} = d + x$. This family of mechanisms offers a tradeoff between $\ell_1$ and $\ell_\infty$-error guarantees and may be of independent interest. For $p = O(\log \log k)$, this mechanism already matches the previous best known $\ell_\infty$-error bound. We arrive at our main result by composing this mechanism for $p = O(\log \log \log k)$ with the sparse vector mechanism, generalizing a technique of Steinke and Ullman.

연구 동기 및 목표

• 차별적(private) 카운팅 쿼리에 대한 ℓ∞-오차의 최상의 상한과 하한 사이의 곱셈 갭을 줄이기.
• 기존 방법보다 더 날카운 ℓ∞-오차 보장을 달성하는 메커니즘을 개발하기, 특히 (ϵ,δ)-차별적(private) 보장의 O(√(k log log k log(1/δ))/ϵ)에 비해 향상된 성능을 내기.
• ℓ1와 ℓ∞ 오차 사이의 트레이드오프를 제공하는 일반화된 가우시안 메커니즘의 사생활 보장 및 유효성 성질을 분석하기, 이는 이전 메커니즘보다 간단하다.
• Steinke와 Ullman의 기법을 일반화하여 일반화된 가우시안 메커니즘과 스퍼스 벡터 메커니즘의 조합을 통해 오차 제어를 향상시키기.
• 닫힌 형태로 표현되며 쉽게 샘플링 가능한 노이즈 분포를 갖는 메커니즘을 제공하여 사생활 보장을 유지하면서 최악의 경우 오차를 최소화하기.

제안 방법

• 진짜 답변 d에 노이즈 x를 더하는 메커니즘을 제안하며, 이 노이즈 x는 형상 p와 척도 σ를 가진 일반화된 가우시안 분포에서 샘플링된다. 즉, exp(−(||x||p/σ)^p) 비례.
• p = O(log log log k)일 때 일반화된 가우시안 메커니즘을 사용하여 ℓ∞-오차 한계를 향상시키면서도 각 좌표에 대해 독립적인 노이즈 유지.
• 일반화된 가우시안 메커니즘과 스퍼스 벡터 메커니즘의 조합을 통해 큰 오차를 가진 항목을 차별적으로 수정.
• 노이즈 척도 σ = Θ(√(k^p log(1/δ))/ϵ)로 설정하여 사생활 보장과 유효성의 균형을 이루며, (ϵ,δ)-차별적(private) 보장을 확보.
• 일반화된 찬너프 유사 부등식을 사용한 尾부 확률 분석을 통해, 어떤 좌표도 임계값을 초과할 확률를 통제하며, 일반화된 가우시안의 좌표 간 독립성을 활용.
• 유니온 바운드와 농도 불등식을 사용하여, 고확률적으로 최대 O(k / log^{2+2t}k)개의 항목만 큰 크기를 가지며, 이는 스퍼스 벡터를 통한 효과적인 보정이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 일반화된 가우시안 메커니즘이 (ϵ,δ)-차별적(private) 보장 하에서 카운팅 쿼리에 대해 가우시안 또는 라플라스 메커니즘보다 더 낮은 ℓ∞-오차를 달성할 수 있는가?
• RQ2 차별적(private) 쿼리 공개에서 ℓ1와 ℓ∞ 오차 사이의 최적 트레이드오프는 무엇이며, 이를 단일 노이즈 분포로 달성할 수 있는가?
• RQ3 일반화된 가우시안 메커니즘과 스퍼스 벡터 메커니즘의 조합이 알려진 상한과 하한 사이의 ℓ∞-오차 갭을 줄일 수 있는가?
• RQ4 p = O(log log log k)인 일반화된 가우시안 노이즈를 사용할 경우, 이전 방법보다 더 날카운 ℓ∞-오차 한계를 달성할 수 있는가?
• RQ5 독립적이고 닫힌 형태의 노이즈 샘플링을 갖는 메커니즘이 근사 최적의 ℓ∞-오차를 달성하면서도 강력한 사생활 보장을 유지할 수 있는가?

주요 결과

• 제안된 메커니즘은 ℓ∞-오차가 O(√(k log log log k log(1/δ))/ϵ)에 도달하며, 이는 상한과 하한 사이의 곱셈 갭을 O(√log log k)에서 O(√log log log k)로 줄인다.
• p = Θ(log log k일 때, 메커니즘은 이전에 알려진 최상의 ℓ∞-오차 한계인 O(√(k log log k log(1/δ))/ϵ)를 그대로 유지하지만, 더 단순한 독립 노이즈 모델을 사용한다.
• 일반화된 가우시안 메커니즘(p = O(log log log k))과 스퍼스 벡터 메커니즘의 조합을 통해, 각각 조정된 사생활 보장 파rameter를 갖는다. 이로 인해 (ϵ,δ)-차별적(private) 보장이 확보된다.
• ℓ∞-오차가 ct√(k^p log(1/δ)/ϵ) · (log log k)^{1/p}를 초과할 확률은 e^{-log^t k} 이하로 제한되며, 이는 k에 대해 다항식보다 더 빠르게 감소한다.
• 노이즈 분포는 해석적으로 다룰 수 있고, 이전 메커니즘과 달리 종속 노이즈를 사용하지 않아 샘플링이 간단하여 실제 적용에 더 유용하다.
• 분석 결과, 고확률적으로 오직 O(k / log^{2+2t}k)개의 항목만 임계값을 초과하며, 이는 스퍼스 벡터 메커니즘을 통한 효과적인 보정이 가능함을 보여준다.