[논문 리뷰] Subsampled R\\'enyi Differential Privacy and Analytical Moments Accountant

Yu-Xiang Wang, Borja Balle외 1명|arXiv (Cornell University)|2018. 07. 31.

Privacy-Preserving Technologies in Data인용 수 95

한 줄 요약

본 연구는 원래 메커니즘의 RDP와 샘플링 비율을 이용해 샘플링된 메커니즘에 대한 Rényi 차등 프라이버시 매개변수에 대한 타이트한 상한을 도출하고, 분석적 모먼트 계정책을 제시한다.

ABSTRACT

We study the problem of subsampling in differential privacy (DP), a question that is the centerpiece behind many successful differentially private machine learning algorithms. Specifically, we provide a tight upper bound on the R\\'enyi Differential Privacy (RDP) (Mironov, 2017) parameters for algorithms that: (1) subsample the dataset, and then (2) applies a randomized mechanism M to the subsample, in terms of the RDP parameters of M and the subsampling probability parameter. Our results generalize the moments accounting technique, developed by Abadi et al. (2016) for the Gaussian mechanism, to any subsampled RDP mechanism.

연구 동기 및 목표

• Rényi DP(RDP)에 대한 부분샘플링 하에서의 프라이버시 증폭을 이해할 필요성을 동기 부여한다.
• 원래의 메커니즘과 샘플링 비율에 의해 결정되는 subsampled 메커니즘의 RDP 매개변수에 대한 타이트하고 일반적인 상한을 도출한다.
• 미리 정의된 모먼트 목록 없이 합성 전반에서 프라이버시 매개변수를 추적하는 분석적 모먼트 어카운턴트를 제안한다.
• 샘플링 효과와 관련된 새로운 3항 Pearson-Vajda 발산 개념을 도입하고 이를 RDP와 연결한다.
• RDP 상한으로부터 (epsilon, delta)-DP를 산출하는 실용적인 계산 방법을 제공하고 실험을 통해 개선점을 시연한다.

제안 방법

• 대체 없이 샘플링을 정의하고 RDP에 대한 프라이버시 증폭을 정량화한다(정리 9).
• M과 subsample의 합성에 대한 epsilon'(alpha) 의 타이트한 상한을 epsilon(alpha), gamma, epsilon(2) (및 관련 항)으로 표현하여 증명한다.
• 일반적으로 상한이 타이트함을 나타내는 하한(서술 11)을 제시한다.
• CGF K_M(lambda)을 기호적으로 추적하고 (epsilon, delta)-DP로 효율적으로 변환하는 분석적 모먼트 어카운턴트를 위한 데이터 구조를 도입한다.
• 순수 DP 및 가우시안/Laplace 메커니즘을 포함한 특수 사례를 논의하고 alpha와 gamma의 점근적 영역을 개요한다.

실험 결과

연구 질문

• RQ1 일반적인 메커니즘 M에 대해 부분샘플링이 Rényi DP 매개변수에 어떤 영향을 미치는가?
• RQ2 M과 subsample의 합성에 대한 epsilon'(alpha)를 epsilon(alpha)와 subsampling 비율 gamma로 표현하여 상한할 수 있는가?
• RQ3 도출된 상한이 타이트한가, 어떤 조건에서 개선되거나 하한으로 일치할 수 있는가?
• RQ4 합성 전반에서 프라이버시 매개변수를 분석적 모먼트 어카운턴트를 사용해 어떻게 효율적으로 추적할 수 있는가?
• RQ5 프라이버시 보존 ML 파이프라인에서 이러한 상한을 구현할 때의 실용적 함의와 계산상의 고려사항은 무엇인가?

주요 결과

• gamma, alpha 및 epsilon(·)를 terms로 하는 M∘subsample의 epsilon'(alpha)에 대한 타이트한 상한(정리 9)이 제공된다.
• 이 상한은 Gaussian, Laplace, 지수족 기반 메커니즘을 포함한 모든 RDP 메커니즘에 적용된다.
• 증폭 동작에서 alpha에 대한 상전이가 있다: 작은 alpha에서는 상한이 O(alpha gamma^2)로 스케일하고, 큰 alpha에서는 epsilon(alpha)에 근접하거나 gamma epsilon(∞)로 스케일할 수 있다.
• 하한(정리 11)은 일반적으로 추가적인 인스턴스별 개선 없이는 상한을 더 개선할 수 없음을 보여준다.
• 고정된 모먼트 목록 없이 CGF를 기호적으로 추적해 (epsilon, delta)-DP를 효율적으로 출력하는 분석적 모먼트 어카운턴트를 제안한다.
• 이 프레임워크는 M를 적용하기 전에 샘플링을 지원하여 비공개 학습 설정 및 기타 DP 응용에서 더 촘촘한 프라이버시 계정을 가능하게 한다.