[논문 리뷰] Efficient Algorithms for Privately Releasing Marginals via Convex Relaxations

Cynthia Dwork, Aleksandar Nikolov외 1명|arXiv (Cornell University)|2013. 08. 06.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 6

한 줄 요약

이 논문은 볼록 근사화와 Frank-Wolfe 알고리즘을 사용하여 k-방향 마진 쿼리의 비밀 보장된 공개를 위한 다항 시간 알고리즘을 제안한다. 평균 오차는 Õ(√n ⋅ d^{⌈k/2⌉/4})를 달성하며, 이는 k=2일 때 알려진 정보 이론적 상한선과 일치하며, n이 작을 경우 이전의 효율적 방법보다 향상된다. 이 방법은 기하 기법과 Grothendieck 부등식을 활용하여, 근사 최적 오차 스케일링을 가지는 효율적이고 정확한 비밀 보장 쿼리 공개를 가능하게 하는 신프노시스 생성기를 설계한다.

ABSTRACT

Consider a database of $n$ people, each represented by a bit-string of length $d$ corresponding to the setting of $d$ binary attributes. A $k$-way marginal query is specified by a subset $S$ of $k$ attributes, and a $|S|$-dimensional binary vector $β$ specifying their values. The result for this query is a count of the number of people in the database whose attribute vector restricted to $S$ agrees with $β$. Privately releasing approximate answers to a set of $k$-way marginal queries is one of the most important and well-motivated problems in differential privacy. Information theoretically, the error complexity of marginal queries is well-understood: the per-query additive error is known to be at least $Ω(\min\{\sqrt{n},d^{\frac{k}{2}}\})$ and at most $ ilde{O}(\min\{\sqrt{n} d^{1/4},d^{\frac{k}{2}}\})$. However, no polynomial time algorithm with error complexity as low as the information theoretic upper bound is known for small $n$. In this work we present a polynomial time algorithm that, for any distribution on marginal queries, achieves average error at most $ ilde{O}(\sqrt{n} d^{\frac{\lceil k/2 ceil}{4}})$. This error bound is as good as the best known information theoretic upper bounds for $k=2$. This bound is an improvement over previous work on efficiently releasing marginals when $k$ is small and when error $o(n)$ is desirable. Using private boosting we are also able to give nearly matching worst-case error bounds. Our algorithms are based on the geometric techniques of Nikolov, Talwar, and Zhang. The main new ingredients are convex relaxations and careful use of the Frank-Wolfe algorithm for constrained convex minimization. To design our relaxations, we rely on the Grothendieck inequality from functional analysis.

연구 동기 및 목표

• 정보 이론적 하한선에 가까운 오차를 가지며, n과 d^k에 대해 다항 시간이 소요되는 k-방향 마진 쿼리 공개를 위한 계산 효율적인 메커니즘을 설계하는 것.
• 작은 n에 대해 낮은 오차를 달성하는 데에 지수 시간이 소요되는 이전 방법의 문제를 해결하는 것.
• 모든 쿼리에 대해 평균 오차 보장을 악성 오차 경계로 전환할 수 있는 비밀 보장 부스팅을 지원하는 효율적 신프노시스 생성기를 개발하는 것.
• n이 Õ(d^{⌈k/2⌉/2} ⋅ α^{-2})일 때, 각 쿼리의 오차를 αn으로 달성함으로써 이전의 효율적 알고리즘을 향상시키는 것.
• 볼록 근사화와 Grothendieck 부등식을 활용하여 비밀 보장 데이터 공개를 위한 해석 가능한 최적화 프레임워크를 설계하는 것.

제안 방법

• 기능 해석학에서 유래된 Grothendieck 부등식을 활용하여 마진 쿼리 공개 문제의 볼록 근사화를 도출한다.
• 이완된 최적화 문제를 효율적으로 해결하기 위해 제약 조건이 있는 볼록 최소화에 대해 Frank-Wolfe 알고리즘을 적용한다.
• 낮은 오차를 가지며 압축된, 비밀 보장된 데이터베이스 표현을 생성하는 기본 신프노시스 생성기를 구축한다.
• 모든 쿼리에 대해 평균 오차 보장을 악성 오차 경계로 전환하기 위해 비밀 보장 부스팅을 적용한다.
• 출력 데이터베이스가 노이즈가 섞인 쿼리 답변과 일관성을 유지하면서도 비밀 보장을 유지하도록 보장한다.
• 실행 시간이 n과 d^k에 대해 다항식이므로, 중간 크기의 d와 k에 대해 확장 가능하다.

실험 결과

연구 질문

• RQ1 n과 d^k에 대해 다항 시간이 소요되며 정보 이론적 하한선에 가까운 오차를 가지는 k-방향 마진 공개를 위한 비밀 보장 메커니즘을 설계할 수 있는가?
• RQ2 볼록 근사화와 기하 기법을 사용하여 작은 n에 대해 다항 시간 내에 근사 최적 오차를 달성할 수 있는가?
• RQ3 악성 오차 보장을 위한 비밀 보장 부스팅을 지원하는 효율적 신프노시스 생성기를 구축할 수 있는가?
• RQ4 Grothendieck 부등식을 효과적으로 활용하여 비밀 보장 쿼리 공개를 위한 해석 가능한 근사화를 설계할 수 있는가?
• RQ5 제안된 방법이 n = Õ(d^{⌈k/2⌉/2} ⋅ α^{-2})일 때 오차 αn을 달성하여 이전의 효율적 알고리즘을 향상시키는가?

주요 결과

• 알고리즘은 임의의 k-방향 마진 쿼리 분포에 대해 평균 오차 Õ(√n ⋅ d^{⌈k/2⌉/4})를 달성하며, 이는 k=2일 때 알려진 정보 이론적 상한선과 일치한다.
• 악성 오차의 경우, 높은 확률로 O(√n ⋅ d^{⌈k/2⌉/4} ⋅ (k log d + log 1/δ)^{1/2} ⋅ (log n)^{1/4} ⋅ (k log d)^{3/4} / ε^{1/2})의 오차를 달성한다.
• 실행 시간이 n과 d^k에 대해 다항식이므로, 작은 n에 대해 정보 이론적 하한선에 다항로그 인자 내에서 오차를 달성하는 첫 번째 효율적 알고리즘이다.
• n이 d에 대해 지수적일 때보다 작은 경우, 또는 α < 1이면서 오차 αn이 필요한 경우, 이전의 효율적 알고리즘보다 향상된다.
• 볼록 근사화와 Grothendieck 부등식의 활용은 최적화 복잡도를 크게 감소시키면서도 비밀 보장과 정확성을 유지한다.
• 메커니즘이 비밀 보장 부스팅을 지원하여 평균 오차에서 악성 오차 보장으로의 전환을 최소한의 오 overhead로 가능하게 한다.