[논문 리뷰] Faster Private Release of Marginals on Small Databases

Karthekeyan Chandrasekaran, Justin Thaler외 2명|arXiv (Cornell University)|2013. 04. 13.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 6

한 줄 요약

이 논문은 소규모 데이터베이스에서 k-방향 마진 쿼리에 대해 비차별적(private) 온라인 알고리즘을 제안하며, 시간 복잡도가 초지수적(exponential) 이하이다. 저자는 하중이 낮은 입력에 대해 L1-노름이 유한한 저차수 다항식을 사용해 OR 함수를 근사함으로써, n ≳ d^0.51 일 때 시간 exp(o(d)) 내에 쿼리당 오차가 ±0.01 이내가 되도록 한다. 이는 다항식(d,k)-크기의 데이터베이스에 대해 처음으로 이러한 효율성을 달성한 알고리즘이다.

ABSTRACT

We study the problem of answering \emph{$k$-way marginal} queries on a database $D \in (\{0,1\}^d)^n$, while preserving differential privacy. The answer to a $k$-way marginal query is the fraction of the database's records $x \in \{0,1\}^d$ with a given value in each of a given set of up to $k$ columns. Marginal queries enable a rich class of statistical analyses on a dataset, and designing efficient algorithms for privately answering marginal queries has been identified as an important open problem in private data analysis. For any $k$, we give a differentially private online algorithm that runs in time $$ \min{\exp(d^{1-Ω(1/\sqrt{k})}), \exp(d / \log^{.99} d)\} $$ per query and answers any (possibly superpolynomially long and adaptively chosen) sequence of $k$-way marginal queries up to error at most $\pm .01$ on every query, provided $n \gtrsim d^{.51} $. To the best of our knowledge, this is the first algorithm capable of privately answering marginal queries with a non-trivial worst-case accuracy guarantee on a database of size $\poly(d, k)$ in time $\exp(o(d))$. Our algorithms are a variant of the private multiplicative weights algorithm (Hardt and Rothblum, FOCS '10), but using a different low-weight representation of the database. We derive our low-weight representation using approximations to the OR function by low-degree polynomials with coefficients of bounded $L_1$-norm. We also prove a strong limitation on our approach that is of independent approximation-theoretic interest. Specifically, we show that for any $k = o(\log d)$, any polynomial with coefficients of $L_1$-norm $poly(d)$ that pointwise approximates the $d$-variate OR function on all inputs of Hamming weight at most $k$ must have degree $d^{1-O(1/\sqrt{k})}$.

연구 동기 및 목표

• poly(d,k) 건수를 가진 데이터베이스에서 k-방향 마진 쿼리를 효율적으로 비차별적으로 답변할 수 있는 알고리즘을 설계하는 것.
• 이전 알고리즘의 한계를 극복하기 위해 |D| ≳ |Q|^{1/2} 또는 2^d 시간이 소요되는 것을 방지하는 것.
• 낮은 하밍 무게 입력에서 OR 함수의 저차수, L1-노름이 작은 다항식 근사를 통해 소규모 데이터베이스의 비차별적 분석을 가능하게 하는 것.
• 하밍 무게가 최대 k인 입력에 제한된 d변수 OR 함수를 근사하는 다항식의 차수와 L1-노름에 대한 엄밀한 경계를 설정하는 것.
• 기존의 비차별적 승법 가중치(private multiplicative weights) 방법보다 빠른 실행 시간을 확보하면서도 최악의 경우 오차 보장을 유지하는 것.

제안 방법

• 알고리즘은 L1-노름이 유한한 저차수 다항식 계수를 가진 새로운 근사 다항식 표현을 기반으로 한 비차별적 승법 가중치를 사용한다.
• 하중이 ≤ k인 입력에서 d변수 OR 함수를 근사하는 다항식을 구성하며, 차수는 d^{1−Ω(1/√k)}이고 L1-노름은 d^{0.01}이다.
• 이 구축은 중첩된 OR 함수의 분해를 활용하며, 체비세프 다항식을 사용해 외부 OR 함수를 차수와 계수 무게가 제한된 방식으로 근사한다.
• 다항식 표현을 기반으로 비차별적 승법 가중치 프레임워크를 적용함으로써, 데이터베이스의 압축된 비차별적 요약으로 작용함으로써 차별성 보장을 확보한다.
• 다항식의 차수와 L1-노름 사이의 상호 교환 관계를 수립하며, L1-노름이 다항식(d)일 경우 k=o(log d)에 대해 차수는 d^{1−O(1/√k)}여야 함을 보여준다.
• 다항식 근사가 점점 더 정확하지 않아지면 표준 비차별적 승법 가중치 방법으로 점진적으로 변환되며, 이는 후행 호환성과 작은 d에 대해서도 실용적 이점 제공 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 크기가 poly(d,k)인 데이터베이스에서 시간 exp(o(d)) 내에 k-방향 마진 쿼리를 비차별적으로 답변할 수 있는가?
• RQ2 하밍 무게가 최대 k인 입력에서 d변수 OR 함수를 근사하는 데 필요한 최소 차수와 L1-노름은 무엇인가?
• RQ3 이러한 근사 다항식의 차수와 L1-노름 사이에 본질적인 상호 교환 관계가 존재하는가? 만약 존재한다면 그 형태는 무엇인가?
• RQ4 데이터베이스의 저중량, 저차수 다항식 표현을 사용함으로써 비차별적 승법 가중치 프레임워크를 가속화할 수 있는가?
• RQ5 다항식 근사를 통해 소규모 데이터베이스에서 비차별적 쿼리 답변에 대해 초지수적 시간 복잡도 이하의 복잡도를 달성할 수 있는가?

주요 결과

• 알고리즘은 쿼리당 시간 복잡도가 poly(n, exp(d^{1−Ω(1/√k)}))이며, n ≳ d^0.51 조건 하에 임의의 poly(n) 개의 k-방향 마진 쿼리에 대해 오차가 최대 ±0.01 이내로 답변한다.
• 하중이 낮은 입력에서 d변수 OR 함수를 근사하는 다항식을 구성하며, 차수는 d^{1−Ω(1/√k)}이고 L1-노름은 d^{0.01}으로, 효율성 향상에 상당한 기여를 한다.
• 일치하는 하한선을 통해 k=o(log d)일 경우, L1-노름이 다항식(d)인 임의의 근사 다항식이 하중 ≤k인 입력에서 OR 함수를 근사하려면 차수는 d^{1−O(1/√k)}여야 하며, 이는 본 방법이 점점 커지는 경우에 최적임을 증명한다.
• 다항식(d,k)-크기의 데이터베이스에서 알고리즘이 exp(o(d)) 시간 복잡도를 달성하며, 이는 비차별적 쿼리 답변에 대해 비차별적 보장을 가진 최초의 결과이다.
• 이 방법은 다른 특징 공간으로 일반화 가능하지만, L1-노름 제약 조건 하에서 저차수 단항식이 최적임이 입증되었으며, 이는 설계 측면에서 거의 최적임을 시사한다.
• 이 프레임워크는 Nikolov 등 [NTZ13]의 투영 기반 비차별적 쿼리 배포 방법과 호환되며, 2^{o(d)}개의 정점을 가진 다면체를 통해 효율적인 투영을 가능하게 한다.