[논문 리뷰] The Geometry of Differential Privacy: the Sparse and Approximate Cases

Aleksandar Nikolov, Kunal Talwar외 1명|arXiv (Cornell University)|2012. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 68인용 수 98

한 줄 요약

이 논문은 관련된 가우시안 노이즈를 사용하여 $(\varepsilon,\delta)$-차별적 비밀유지 선형 질의 해제를 위한 $O(\log^2 d)$-근사 메커니즘을 제안하며, 거의 최적의 정확도를 달성한다. 또한 $d > n$인 희박한 데이터베이스에 대해 가우시안 노이즈와 $\ell_1$-정규화된 회귀를 조합하여 다항로그 근사치를 도출함으로써, 카운팅 질의의 오차 한계를 $\tilde{O}(\sqrt{n})$으로 향상시킨다.

ABSTRACT

In this work, we study trade-offs between accuracy and privacy in the context of linear queries over histograms. This is a rich class of queries that includes contingency tables and range queries, and has been a focus of a long line of work. For a set of $d$ linear queries over a database $x \in \R^N$, we seek to find the differentially private mechanism that has the minimum mean squared error. For pure differential privacy, an $O(\log^2 d)$ approximation to the optimal mechanism is known. Our first contribution is to give an $O(\log^2 d)$ approximation guarantee for the case of $(\eps,δ)$-differential privacy. Our mechanism is simple, efficient and adds correlated Gaussian noise to the answers. We prove its approximation guarantee relative to the hereditary discrepancy lower bound of Muthukrishnan and Nikolov, using tools from convex geometry. We next consider this question in the case when the number of queries exceeds the number of individuals in the database, i.e. when $d > n riangleq \|x\|_1$. It is known that better mechanisms exist in this setting. Our second main contribution is to give an $(\eps,δ)$-differentially private mechanism which is optimal up to a $\polylog(d,N)$ factor for any given query set $A$ and any given upper bound $n$ on $\|x\|_1$. This approximation is achieved by coupling the Gaussian noise addition approach with a linear regression step. We give an analogous result for the $\eps$-differential privacy setting. We also improve on the mean squared error upper bound for answering counting queries on a database of size $n$ by Blum, Ligett, and Roth, and match the lower bound implied by the work of Dinur and Nissim up to logarithmic factors. The connection between hereditary discrepancy and the privacy mechanism enables us to derive the first polylogarithmic approximation to the hereditary discrepancy of a matrix $A$.

연구 동기 및 목표

• 히스토GRAM에 대한 $(\varepsilon,\delta)$-차별적 비밀유지 메커니즘의 근사 보장 간극을 메우기 위해.
• 질의 수 $d$가 개인 수 $n$을 초과할 때 발생하는 희박한 환경에서 표준 하한선이 더 이상 적용되지 않는 질의 정확도 문제를 해결하기 위해.
• 특히 $d > n$인 희박한 환경에서 카운팅 질의의 오차 한계를 향상시키기 위해.
• 유전적 불일치와 차별적 비밀유지 메커니즘 간의 연결을 수립하여 불일치의 다항로그 근사치를 가능하게 하기 위해.
• 순수 및 약한 차별적 비밀유지 모두에서 거의 최적의 오차를 달성하는 효율적이고 단순한 메커니즘을 설계하기 위해.

제안 방법

• 관련된 가우시안 노이즈 추가를 통해 $(\varepsilon,\delta)$-차별적 비밀유지 메커니즘을 구성하며, 최적 메커니즘에 대해 $O(\log^2 d)$의 근사치를 달성한다.
• [MN12]에서 유도된 유전적 불일치 하한선에 대한 근사 보장을 증명하기 위해 볼록 기하학 도구를 적용한다.
• 희박한 환경에서 최적에 대해 $\operatorname{polylog}(d,N)$ 이내의 오차를 달성하기 위해 가우시안 노이즈 추가와 $\ell_1$-볼록체에서의 정규화된 회귀를 조합한다.
• 표본 추출과 잘라내기 방법을 통해 SDP 타당성 문제를 구축함으로써, 경험적 추정치가 상수 요인 내에서 제약 조건을 충족하도록 보장한다.
• 차별적 비밀유지가 역질의 응답의 분산을 유한하게 한다는 사실을 활용하여, 메커니즘 출력의 공분산 행렬에 대한 하한선을 도출한다.
• 반복적 정밀 조정을 통해 질의 부분 문제에서 유도된 양의 정부호 행렬을 조합하여, 정수형 프로그래밍(SDP)의 타당한 해를 구성한다.

실험 결과

연구 질문

• RQ1 일반적인 선형 질의의 경우 $(\varepsilon,\delta)$-차별적 비밀유지 메커니즘에서 다항로그 근사 비율을 달성할 수 있는가?
• RQ2 질의 수 $d > n$일 때 정확도와 비밀유지 간의 최적 트레이드오프는 무엇이며, 이 희박한 환경에서 기존의 하한선을 초월하는 메커니즘을 설계할 수 있는가?
• RQ3 유전적 불일치 하한선을 활용하여 차별적 비밀유지 메커니즘의 근사 보장을 유도할 수 있는가?
• RQ4 기존 연구에서의 $\tilde{O}(n^{2/3})$ 하한선을 초월하여 카운팅 질의의 오차 한계를 향상시킬 수 있는가?
• RQ5 희박한 설정에서 $\ell_2^2$ 오차가 최적에 대해 $\operatorname{polylog}(d,N)$ 이내에 머무르는 차별적 비밀유지 메커니즘을 구성할 수 있는가?

주요 결과

• 제안된 $(\varepsilon,\delta)$-차별적 비밀유지 메커니즘은 최적 메커니즘에 대해 $O(\log^2 d)$의 근사치를 달성하며, 순수 차별적 비밀유지에 대해 알려진 최고의 하한선과 일치한다.
• 질의 수 $d > n$인 희박한 환경에서, 메커니즘은 최적에 대해 $\operatorname{polylog}(d,N)$ 이내의 평균 제곱오차를 달성하며, 이는 이전의 하한선보다 크게 향상된 것이다.
• 임의의 카운팅 질의에 대해, 메커니즘은 질의당 기대 오차 $\tilde{O}(\sqrt{n})$을 달성하며, [BLR08]에서 제시한 $\tilde{O}(n^{2/3})$ 하한선을 초월하고 [DN03]에서 유도한 하한선과 로그 인자 수준에서 일치한다.
• 논문은 차별적 비밀유지 메커니즘과의 연결을 통해 행렬 $A$의 유전적 불일치에 대해 처음으로 다항로그 근사치를 확립한다.
• 메커니즘은 관련된 가우시안 노이즈와 $\ell_1$-정규화된 회귀에 의존하여 단순하고 효율적이며, 구축 기반의 SDP 분석을 제공한다.
• 분석 결과, 차별적 비밀유지가 역질의 응답의 분산에 하한선을 부여함으로써, 정수형 프로그래밍(SDP)의 타당한 해를 구성할 수 있음을 보여준다.