[논문 리뷰] Rényi Differential Privacy of the Sampled Gaussian Mechanism

Ilya Mironov, Kunal Talwar외 1명|arXiv (Cornell University)|2019. 08. 28.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 88

한 줄 요약

이 논문은 Rényi differential privacy (RDP)의 Sampled Gaussian Mechanism (SGM)을 분석하여 기존 결과를 통합하고, 거의 타이트한 닫힌 형태의 한계를 제시하며, SGM의 RDP를 계산하는 수치적으로 안정적인 방법을 제공한다.

ABSTRACT

The Sampled Gaussian Mechanism (SGM)---a composition of subsampling and the additive Gaussian noise---has been successfully used in a number of machine learning applications. The mechanism's unexpected power is derived from privacy amplification by sampling where the privacy cost of a single evaluation diminishes quadratically, rather than linearly, with the sampling rate. Characterizing the precise privacy properties of SGM motivated development of several relaxations of the notion of differential privacy. This work unifies and fills in gaps in published results on SGM. We describe a numerically stable procedure for precise computation of SGM's Rényi Differential Privacy and prove a nearly tight (within a small constant factor) closed-form bound.

연구 동기 및 목표

• SGM(서브샘플링과 가우시안 노이즈를 결합한 것)의 프라이버시를 동기화하고 분석한다.
• Rényi differential privacy(RDP) 하에서 SGM에 대한 기존 결과를 통일한다.
• SGM의 RDP를 계산하기 위한 닫힌 형(bound)과 수치적으로 안정적인 방법을 모두 제공한다.
• SGM 맥락에서 DP 완화 규칙들과 프라이버시 회계 접근법 간의 관계를 명확히 한다.

제안 방법

• SGM의 RDP 분석을 1차원 가우시안의 간단한 혼합으로 축소하고 Rényi 발산의 준볼록성을 이용해 발산을 한정한다.
• 닫힌 형 bound를 도출하기 위해 Aα와 Bα를 한정하는 방법을 제시한다. Aα = E_{z~N(0,σ^2)}[(μ(z)/μ0(z))^α] 및 Bα = E_{z~μ}[(μ0(z)/μ(z))^α]로 두고 μ0=,N(0,σ^2) 및 μ=(1−q)μ0+qμ1, μ1=N(1,σ^2)이다.
• Aα ≥ Bα를 증명하고 이를 이용해 분석을 단순화한다.
• 정수 α에 대해서는 이항 전개를 이용하거나 분수 α에 대해 수렴급수를 사용하여 Aα를 수치적으로 안정적으로 계산하는 방법을 제시하고 이를 실제로 평가하는 방법을 보여준다.
• 주요 정리에 대해 ε = 2q^2α/σ^2이고 q ≤ 1/5, σ ≥ 4, α가 특정 범위 내에 있을 때의 RDP 한계를 주는 주된 정리를 제시한다.
• CDP, zCDP, tCDP, RDP 간의 연결 및 프라이버시 계정 프레임워크에 대해 토론한다.

실험 결과

연구 질문

• RQ1 샘플링 비율 q와 노이즈 수준 σ에 따라 Sampled Gaussian Mechanism의 레니 차등 프라이버시 한계가 얼마나 촘촘하거나 거의 촘촘한가?
• RQ2 RDP 계산을 용이하게 하기 위해 분석을 간단한 1차원 가우시안 혼합으로 축소할 수 있는가?
• RQ3 Aα와 Bα를 비교하면 SGM의 RDP에 어떤 영향을 미치는가?
• RQ4 정수 및 비정수 α에 대해 Aα를 정확하게 수치적으로 안정적으로 계산하는 절차를 도출할 수 있는가?
• RQ5 SGM 맥락에서 RDP 결과가 다른 DP 완화 및 회계 방법과 어떻게 관련되거나 대조되는가?

주요 결과

• ℓ2-민감도 1인 SGM은 ε = (1/(α−1)) log max(Aα, Bα)이고 Aα ≥ Bα일 때 (α, ε)-RDP를 만족한다.
• 주어진 매개변수 제약(q ≤ 1/5, σ ≥ 4, α 범위)에서 ε = 2q^2α/σ^2로 보정된 (α, ε)-RDP 보장을 이끌어내는 Aα에 대한 닫힌 형Bound를 얻는다.
• 정수 α에 대해 이항 전개를 이용하거나 분수 α에 대해 수렴 급수를 이용해 Aα를 정확하게 계산하는 수치적으로 안정적인 절차를 제공하여 정확한 RDP 계정을 가능하게 한다.
• 주어진 가정 하에서 간단한 1차원 가우시안 혼합으로의 일반적인 정리가 SGM의 최악의 RDP 한계를 포착함을 보인다.
• 이 연구는 CDP, zCDP, tCDP 및 RDP 간의 관계를 명확히 하며Moment-based 회계가 RDP 한계를 (ε, δ)-DP로 변환하는 방법에 대해 논의한다.