[논문 리뷰] On the Generalization Properties of Differential Privacy

Kobbi Nissim, Uri Stemmer|arXiv (Cornell University)|2015. 04. 22.

Privacy-Preserving Technologies in Data참고 문헌 5인용 수 24

한 줄 요약

이 논문은 적응적 통계 질의(ASQ) 환경에서 비밀보장 알고리즘의 일반화 경계를 단순화하고 향상시킨다. $(\varepsilon,\delta)$-비밀보장 메커니즘은 확률 $1 - O(\delta \log(1/\varepsilon)/\varepsilon)$ 에서 $O(\varepsilon)$ 정확도를 보장함을 보이며, 이 경계가 상수 인자와 로그 인자 외에는 날카롭게 타이트하다는 것을 증명하고, 정확도가 확률 $1 - O(\delta)$ 에서 성립해야 한다는 직관적인 그러나 잘못된 추측을 반박한다. 이 결과는 표본 복잡도가 다항로그 수준임을 보장하는 비밀보장 질의 응답의 이론적 기반을 강화한다.

ABSTRACT

A new line of work, started with Dwork et al., studies the task of answering statistical queries using a sample and relates the problem to the concept of differential privacy. By the Hoeffding bound, a sample of size $O(\log k/α^2)$ suffices to answer $k$ non-adaptive queries within error $α$, where the answers are computed by evaluating the statistical queries on the sample. This argument fails when the queries are chosen adaptively (and can hence depend on the sample). Dwork et al. showed that if the answers are computed with $(ε,δ)$-differential privacy then $O(ε)$ accuracy is guaranteed with probability $1-O(δ^ε)$. Using the Private Multiplicative Weights mechanism, they concluded that the sample size can still grow polylogarithmically with the $k$. Very recently, Bassily et al. presented an improved bound and showed that (a variant of) the private multiplicative weights algorithm can answer $k$ adaptively chosen statistical queries using sample complexity that grows logarithmically in $k$. However, their results no longer hold for every differentially private algorithm, and require modifying the private multiplicative weights algorithm in order to obtain their high probability bounds. We greatly simplify the results of Dwork et al. and improve on the bound by showing that differential privacy guarantees $O(ε)$ accuracy with probability $1-O(δ\log(1/ε)/ε)$. It would be tempting to guess that an $(ε,δ)$-differentially private computation should guarantee $O(ε)$ accuracy with probability $1-O(δ)$. However, we show that this is not the case, and that our bound is tight (up to logarithmic factors).

연구 동기 및 목표

• 적응적 통계 질의의 맥락에서 비밀보장의 이론적 분석을 단순화하고 강화하는 것.
• $(\varepsilon,\delta)$-비밀보장이 $O(\varepsilon)$ 정확도를 확률 $1 - O(\delta)$ 에서 보장하는지 여부라는 열린 질문을 해결하는 것. 이는 잘못된 것으로 밝혀졌음.
• 적응적 질의 워크로드 하에서 비밀보장 메커니즘에 대해 날카운 경계를 확립하여, 이전 결과보다 표본 복잡도와 확률 보장 측면에서 향상시키는 것.

제안 방법

• 논문은 비밀보장 매개변수 $\varepsilon$ 와 $\delta$ 를 기반으로 한 정교한 집중 추론을 사용하여 비밀보장 메커니즘의 일반화 성질을 재분석한다.
• 새로운 커플링 기법을 적용하여 비밀보장 답변이 진정한 질의 값에서 벗어나지 않는 정도를 제한함으로써, 더 날카운 고확률 오차 경계를 도출한다.
• 적응적 질의 워크로드의 구조와 비밀보장이 유도하는 안정성을 활용하여, 실패 확률이 $\delta$ 가 아니라 $\delta \log(1/\varepsilon)/\varepsilon$ 비례하도록 유도한다.
• 반례를 구성하여 실패 확률이 $\log(1/\varepsilon)$ 에 의존해야 한다는 점을 보여, 이 경계가 $1 - O(\delta)$ 로 개선될 수 없다는 것을 증명한다.
• 특정 알고리즘(예: 비밀보장 승법 가중치)에 의존하지 않고, 비밀보장의 일반적 성질에 초점을 맞춘다.
• 이전 분석보다 더 단순하고 체계적인 증명을 제공하며, 더 강력하고 정밀한 경계를 달성한다.

실험 결과

연구 질문

• RQ1 적응적 질의 환경에서 $(\varepsilon,\delta)$-비밀보장 메커니즘이 $O(\varepsilon)$ 정확도를 확률 $1 - O(\delta)$ 에서 보장할 수 있는가?
• RQ2 확률 $1 - O(\delta \log(1/\varepsilon)/\varepsilon)$ 에서 $O(\varepsilon)$ 정확도를 보장하는 경계가 로그 인자 외에는 타이트한가?
• RQ3 왜 $O(\varepsilon)$ 정확도가 확률 $1 - O(\delta)$ 에서 성립한다는 자연스러운 추측이 적응적 질의 환경에서는 실패하는가?
• RQ4 정밀도를 희생시키지 않고 비밀보장의 일반화 성질 분석을 어떻게 단순화할 수 있는가?
• RQ5 적응적 통계 질의 워크로드에서 실패 확률이 $\varepsilon$ 와 $\delta$ 에 어떻게 의존하는가?

주요 결과

• 논문은 $(\varepsilon,\delta)$-비밀보장 메커니즘이 확률 $1 - O(\delta \log(1/\varepsilon)/\varepsilon)$ 에서 $O(\varepsilon)$ 정확도를 보장함을 입증한다. 이는 이전 경계에 비해 상당한 향상이다.
• 이 경계는 상수 인자와 로그 인자 외에는 타이트하다는 것이 입증되었으며, 일반적으로 더 나은 실패 확률을 달성할 수 없다.
• 정확도가 확률 $1 - O(\delta)$ 에서 성립한다는 직관적인 추측은 잘못되었으며, 실패 확률이 $\log(1/\varepsilon)$ 에 의존해야 한다는 것이 입증되었다.
• Dwork 등과 Bassily 등의 이전 결과를 단순화하고 강화하였으며, 알고리즘 특화 수정에 의존하지 않는 더 깔끔한 증명을 제공한다.
• 이 결과는 비밀보장 승법 가중치와 같은 특수 메커니즘 외에도 모든 비밀보장 알고리즘에 일반적으로 적용된다.
• 논문은 $k$ 개의 적응적 질의에 대한 표본 복잡도가 여전히 $k$ 에 대해 다항로그 수준임을 보여주며, 향상된 고확률 경계 하에서도 유지됨을 입증한다.