[논문 리뷰] A bounded-noise mechanism for differential privacy

Yuval Dagan, Gil Kur|arXiv (Cornell University)|2020. 12. 07.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 7

한 줄 요약

이 논문은 $(\epsilon,\delta)$-차별적 비밀유지에 대해 $\Delta$-민감한 쿼리에 대해 점근적으로 최적의 오차 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$ 를 확률 1로 달성하는 유한한 노이즈 기반 메커니즘을 제안한다. 이 메커니즘은 각 쿼리 응답에 독립적이고 동일하게 분포된 유한한 노이즈를 추가하며, 기존의 무한한 오차 범위를 가진 메커니즘과 달리 유한한 오차 범위를 제공함으로써 열린 문제를 해결한다. 이는 적응형 쿼리 환경에서 노이즈 수준의 이론적 하한선을 정확히 따르며, 최적의 성능을 달성한다.

ABSTRACT

We present an asymptotically optimal $(ε,δ)$ differentially private mechanism for answering multiple, adaptively asked, $Δ$-sensitive queries, settling the conjecture of Steinke and Ullman [2020]. Our algorithm has a significant advantage that it adds independent bounded noise to each query, thus providing an absolute error bound. Additionally, we apply our algorithm in adaptive data analysis, obtaining an improved guarantee for answering multiple queries regarding some underlying distribution using a finite sample. Numerical computations show that the bounded-noise mechanism outperforms the Gaussian mechanism in many standard settings.

연구 동기 및 목표

• 적응형, $\Delta$-민감한 쿼리에 대해 $(\epsilon,\delta)$-차별적 비밀유지 하에서 점근적으로 최적의 유한한 노이즈 기반 메커니즘이 존재하는지 여부를 해결하는 것.
• 오차가 고려할 수 있는 최대값을 초과할 수조차도 되는 무한한 노이즈 분포(예: 가우시안, 라플라스)에 의존하는 것을 제거하여, 모든 쿼리에 대해 보장되는 절대 오차 범위를 제공하는 것.
• 모든 쿼리에 대해 보장되는 절대 오차 상한선(즉, 확률 1로 오차 $\leq O(R)$)을 제공함으로써 실용적 신뢰성과 수치적 안정성을 향상시키는 메커니즘을 설계하는 것.
• i.i.d. 유한한 노이즈가 $\delta \geq e^{-k/\log^2 k \log^4 \log k}$ 조건 하에서 스텐케와 울만(2020)이 제시한 이론적 하한선을 정확히 따르는 최적의 노이즈 비율 $O(R)$를 달성할 수 있음을 입증하는 것.

제안 방법

• 메커니즘은 $[-R,R]$ 범위에서 대칭적이고 로그-볼록인 확률 밀도 함수 $p_R$ 에서 유한한 노이즈를 독립적이고 동일하게 추출하여 각 쿼리에 추가함으로써, 각 쿼리에 대해 유한한 오차를 보장한다.
• 개념적으로, 개인정보 손실 랜덤 변수의 모멘트 생성 함수(MGF)에 기반한 새로운 프rivacy 인증 기법을 사용하여, 엄밀한 $(\epsilon,\delta)$-DP 검증을 가능하게 한다.
• 프라이버시 분석은 노이즈 분포를 임계값 $L$ 에서 잘라내어 프라이버시 손실을 유한하게 제한하고, 尾 확률에 대한 보정 항을 포함한다.
• 메커니즘이 원하는 프라이버시 파rameter를 충족시키기 위해 필요한 최소 노이즈 크기 $R$ 을 계산하기 위해 이진 탐색 알고리즘을 사용한다.
• MGF 기반의 경계를 최적화하여 프라이버시 손실 꼬리 확률에 대한 날카운 경계를 계산하는 데에 기반한다.
• 알고리즘은 수치적 안정성을 확보하기 위해 MGF 및 꼬리 확률 계산에서 단방향 오차 경계를 사용하여 프라이버시 보장을 정확히 보장하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 i.i.d. 유한한 노이즈를 사용하는 차별적 비밀유지 메커니즘이 적응형 쿼리에 대해 점근적으로 최적의 오차 비율 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$ 을 달성할 수 있는가?
• RQ2 모든 쿼리에 대해 유한하고 절대적인 오차 상한선(즉, 확률 1로 오차 $\leq O(R)$)을 보장하면서도 최적의 프라이버시-유용성 트레이드오프를 유지할 수 있는 메커니즘을 구축하는 것이 가능한가?
• RQ3 실제 환경에서, 특히 수치적 안정성과 오차 제어 측면에서, 가우시안 메커니즘과 같은 무한한 노이즈 기반 메커니즘보다 유한한 노이즈 기반 메커니즘이 뛰어날 수 있는가?
• RQ4 특히 로그-볼록 밀도를 가진 맞춤형 유한한 노이즈 분포를 사용할 경우, 표준 분포의 잘라낸 형태보다 더 나은 프라이버시-유용성 트레이드오프를 달성할 수 있는가?

주요 결과

• 제안된 유한한 노이즈 기반 메커니즘은 $\delta \geq e^{-k/\log^2 k \log^4 \log k}$ 조건 하에서 확률 1로 오차 상한선 $O(\Delta\sqrt{k\log(1/\delta)}/\epsilon)$ 을 달성하며, 이는 이론적 하한선과 정확히 일치한다.
• 메커니즘은 i.i.d. 유한한 노이즈를 사용하여, 어떤 쿼리도 최악의 경우 오차를 초과할 수 없음을 보장한다. 이는 무한한 노이즈 기반 메커니즘에 비해 뚜렷한 이점이다.
• 수치적 결과는 표준 설정에서 유한한 노이즈 기반 메커니즘이 가우시안 메커니즘을 능가함을 보여주며, 특히 오차 분산과 일관성 측면에서 뛰어나다.
• MGF와 꼬리 경계에 기반한 프라이버시 인증 알고리즘은 제어 가능한 근사 오차를 갖는 정밀하고 검증 가능한 프라이버시 보장을 가능하게 한다.
• MGF 및 꼬리 확률 추정에서 단방향 오차 경계를 사용함으로써, 주어진 프라이버시 예산에 필요한 최소 노이즈 크기 $R$ 을 이진 탐색으로 계산할 수 있으며, 이는 정확성을 보장한다.
• 메커니즘은 적응형 쿼리 워크로드에 대해 강건하며, 최적의 점근적 오차 스케일링을 유지하며, 차별적 비밀유지 분야에서 오랫동안 남아있던 열린 문제를 해결한다.