[논문 리뷰] Gaussian Differential Privacy

Jinshuo Dong, Aaron Roth외 1명|arXiv (Cornell University)|2019. 05. 07.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 102

한 줄 요약

f-차등 프라이버시(f-DP)를 DP의 가설 검정 기반 완화로 소개하고, GDP(가우시안 차등 프라이버시)를 단일 매개변수 가족의 대표로 삼아 합성 정리, 샘플링 증폭, 그리고 SGD에 대한 응용을 개발한다.

ABSTRACT

Differential privacy has seen remarkable success as a rigorous and practical formalization of data privacy in the past decade. This privacy definition and its divergence based relaxations, however, have several acknowledged weaknesses, either in handling composition of private algorithms or in analyzing important primitives like privacy amplification by subsampling. Inspired by the hypothesis testing formulation of privacy, this paper proposes a new relaxation, which we term `$f$-differential privacy' ($f$-DP). This notion of privacy has a number of appealing properties and, in particular, avoids difficulties associated with divergence based relaxations. First, $f$-DP preserves the hypothesis testing interpretation. In addition, $f$-DP allows for lossless reasoning about composition in an algebraic fashion. Moreover, we provide a powerful technique to import existing results proven for original DP to $f$-DP and, as an application, obtain a simple subsampling theorem for $f$-DP. In addition to the above findings, we introduce a canonical single-parameter family of privacy notions within the $f$-DP class that is referred to as `Gaussian differential privacy' (GDP), defined based on testing two shifted Gaussians. GDP is focal among the $f$-DP class because of a central limit theorem we prove. More precisely, the privacy guarantees of \emph{any} hypothesis testing based definition of privacy (including original DP) converges to GDP in the limit under composition. The CLT also yields a computationally inexpensive tool for analyzing the exact composition of private algorithms. Taken together, this collection of attractive properties render $f$-DP a mathematically coherent, analytically tractable, and versatile framework for private data analysis. Finally, we demonstrate the use of the tools we develop by giving an improved privacy analysis of noisy stochastic gradient descent.

연구 동기 및 목표

• 합성 및 증폭의 한계를 다루기 위해 프라이버시의 가설 검정 기반 완화의 필요성을 동기화한다.
• dataset 이웃성 하에서 최적의 1종/2종 오류 트레이드오프를 포착하는 트레이드-오프 함수들을 통해 f-차등 프라이버시(f-DP)를 정의한다.
• f-DP 내에서 표준 사례로 GDP를 단일 매개변수 인스턴스로 도입한다.
• 합성 정리와 합성에 따른 누적 프라이버시 손실의 수렴을 보이는 중심극한정리(CLТ) 스타일의 결과를 개발한다.
• 확률적 경사 하강법(SGD)에 대한 프라이버시 분석의 실용적 활용성을 입증하고, 기존 DP 프레임워크와의 관계를 보인다.

제안 방법

• 트레이드-오프 함수 T(P,Q)들을 사용해 f-DP를 형식화하고 대칭 트레이드-오프 함수를 정의한다.
• 가우시안 가설 검정(N(0,1)과 N(mu,1)) 사이의 가우시안 가설 검정을 특징으로 하여 G_mu를 특징화해 GDP를 특수화한다.
• GDP가 사후 처리에서 보존되고, f-DP를epsilon,delta-DP 보장과 연결하는 프라이멀-듀얼 관점을 제시한다.
• 합성 정리와 합성을 근사하기 위한 Berry-Esseen 형태의 CLT를 증명한다.
• 가우시안 기법을 mu-GDP로 설정하고 가우시안 노이즈 추가에 대한 정확한 GDP 한계를 도출한다.
• 프레임워크를 적용해 노이즈가 있는 SGD의 프라이버시를 분석하고 기존 DP 분석과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 프라이버시를 함수적 트레이드오프 문제로 형상화하여 합성 및 샘플링에 더 잘 대응할 수 있는가?
• RQ2 f-DP 내에서 가설 검정 해석과 일치하는 단일 매개변수 프라이버시 개념은 무엇인가?
• RQ3 GDP가 가우시안 기법과 어떤 관련이 있으며, 중심극한정리에 의해 합성 한계를 특징지을 수 있는가?
• RQ4 f-DP를 기존의(epsilon, delta)-DP 보장으로 변환하거나 역으로 변환하여 기존 결과를 활용할 수 있는가?
• RQ5 GDP가 SGD에 대한 프라이버시 분석을 기존의 발산 기반 방법보다 더 예리하게 만들 수 있는가?

주요 결과

• f-DP는 트레이드오프 함수를 기반으로 한 컴포지션 친화적 프라이버시 프레임워크를 제공한다.
• GDP는 가우시안 기법을 정확하게 특징짓고 합성 한계 하에서의 표준 프라이버시 보장을 대표하는 대표적 보증이다.
• GDP는 가설 검정 기반 프라이버시 개념의 누적 프라이버시 손실을 CLT로 수렴시킨다.
• f-DP와 (epsilon, delta)-DP 보장군 간의 프라이멀-듀얼 대응이 존재하여 결과의 전이가 가능하다.
• 사후 처리는 f-DP 보장을 저해하지 않으며, Blackwell-type 결과로 특정 프라이버시 개념들 중에서 f-DP가 가장 정보가 많다는 점이 시사된다.
• 이 프레임워크는 GDP 기반 합성 근사를 통해 기존의 발산 기반 방법보다 SGD 프라이버시 분석을 더 예리하게 제공한다.