[논문 리뷰] Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition

Hua Wang, Sheng Gao외 4명|arXiv (Cornell University)|2022. 06. 09.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 딥러닝 및 프라이버시 기반 분석과 같은 대규모 머신러닝 시스템에서 차별적 프라이버시(DP) 보장을 효율적이고 정확하게 조합하기 위한 분석적 방법인 Edgeworth Accountant를 소개한다. 이 방법은 f-DP 프레임워크 하에서 프라이버시 손실 로그우도비율(PLLR)의 Edgeworth 전개를 사용하여 비점근적이고 날카운 $(\varepsilon,\delta)$-DP 경계를 도출한다. 이는 기존의 모멘트 앤트로피스트와 FFT 기반 방법보다 정확도와 효율성이 뛰어나며, 계산 비용이 낮다.

ABSTRACT

In privacy-preserving data analysis, many procedures and algorithms are structured as compositions of multiple private building blocks. As such, an important question is how to efficiently compute the overall privacy loss under composition. This paper introduces the Edgeworth Accountant, an analytical approach to composing differential privacy guarantees for private algorithms. Leveraging the $f$-differential privacy framework, the Edgeworth Accountant accurately tracks privacy loss under composition, enabling a closed-form expression of privacy guarantees through privacy-loss log-likelihood ratios (PLLRs). As implied by its name, this method applies the Edgeworth expansion to estimate and define the probability distribution of the sum of the PLLRs. Furthermore, by using a technique that simplifies complex distributions into simpler ones, we demonstrate the Edgeworth Accountant's applicability to any noise-addition mechanism. Its main advantage is providing $(ε, δ)$-differential privacy bounds that are non-asymptotic and do not significantly increase computational cost. This feature sets it apart from previous approaches, in which the running time increases with the number of mechanisms under composition. We conclude by showing how our Edgeworth Accountant offers accurate estimates and tight upper and lower bounds on $(ε, δ)$-differential privacy guarantees, especially tailored for training private models in deep learning and federated analytics.

연구 동기 및 목표

• 딥러닝 및 프라이버시 기반 분석과 같은 대규모 머신러닝 시스템에서 차별적 프라이버시 보장을 효율적이고 정확하게 조합하는 데 도전하는 것.
• FFT 기반 방법의 계산 부담을 피하기 위해 유한 표본, 비점근적 방법을 개발하여 $(\varepsilon,\delta)$-DP 경계를 계산하는 것.
• 고차 수준의 근사화를 사용하여 모멘트 앤트로피스트와 RDP 방법을 개선하고 더 날카운 분석적 경계를 제공하는 것.
• 차별적 프라이버시 맥락에서 Edgeworth 근사의 유한 표본 오차 경계를 철저히 규명하는 것—통계학 및 프라이버시 연구 분야에 새로운 기여이다.
• 실제 응용에서 DP의 실용적 구현을 가능하게 하기 위해 두 가지 변형인 근사 Edgeworth Accountant(AEA)와 정확한 Edgeworth Accountant 간격(EEAI)을 제공하는 것.

제안 방법

• f-차별적 프라이버시(f-DP) 프레임워크를 사용하여 프라이버시 손실을 프라이버시 손실 로그우도비율(PLLR)을 통해 추적함으로써 손실 없는 조합 추적을 가능하게 한다.
• PLLR 합의 분포를 근사하기 위해 Edgeworth 전개를 적용하여 중심극한정리에 고차 수준의 모멘트 보정을 추가한다.
• Edgeworth 근사의 비점근적 오차 경계를 유도하기 위해 Berry–Esseen 유형의 경계를 활용한다.
• Edgeworth Accountant는 근사 Edgeworth Accountant(AEA)와 정확한 Edgeworth Accountant 간격(EEAI) 두 가지 형태로 구현된다.
• 소음 추가 메커니즘의 경우, 유한한 PLLR의 하이퍼지수적 성질(예: 라플라스 메커니즘)을 활용하여 尾 꼬리 경계를 유도한다.
• 수치 실험을 통해 AEA와 EEAI를 FFT, RDP, GDP 기반 앤트로피스트와 비교하여 프라이버시 기반 분석 및 딥러닝 학습 등 다양한 설정에서 검증하였다.

실험 결과

연구 질문

• RQ1 Edgeworth 전개를 사용하여 조합된 프라이버시 알고리즘에 대해 비점근적이고 유한 표본의 $(\varepsilon,\delta)$-DP 경계를 도출할 수 있는가?
• RQ2 고조합 환경에서 Edgeworth Accountant의 정확도는 기존의 모멘트 앤트로피스트(RDP) 및 FFT 기반 앤트로피스트와 비교해 어떻게 되는가?
• RQ3 조합 횟수가 증가함에 따라 Edgeworth Accountant의 계산 효율성은 FFT 기반 방법에 비해 어떻게 되는가?
• RQ4 실제 응용 사례인 프라이버시 기반 분석과 같은 환경에서, Edgeworth 근사가 중심극한정리 기반의 가우시안 근사(CLT)보다 더 날카운 프라이버시 경계를 제공할 수 있는가?
• RQ5 차별적 프라이버시 맥락에서 Edgeworth 근사의 명시적 유한 표본 오차 경계는 무엇이며, 어떻게 도출되는가?

주요 결과

• 근사 Edgeworth Accountant(AEA)는 다양한 설정에서 프라이버시 파라미터 추정에 있어 모멘트 앤트로피스트(RDP)와 중심극한정리 기반 가우시안 근사(GDP)보다 더 높은 정확도를 달성한다.
• Edgeworth Accountant의 계산 비용은 조합 횟수에 따라 증가하지 않으며, 이는 FFT 기반 방법과는 달리 조합 횟수가 증가할수록 런타임이 크게 증가하는 것과 대비된다.
• 정확한 Edgeworth Accountant 간격(EEAI)은 $(\varepsilon,\delta)$-DP에 대해 엄밀한 비점근적 상한 및 하한 경계를 제공하며, 프라이버시 기반 분석 및 딥러닝 학습에서 확인된 바, 매우 날카로운 경계를 제공한다.
• 라플라스 메커니즘의 경우, 역지수 감소 특성을 갖는 尾 꼬리 경계를 도출하였다: $\max\left\{\mathbb{P}\left(\sum X_i^{(1)} \geq \varepsilon\right), \mathbb{P}\left(\sum X_i^{(2)} \geq \varepsilon\right)\right\} \leq \exp\left(-\frac{2(\varepsilon + m\eta)^2}{m\tau^2}\right)$, 여기서 $\eta > 0$ 이고 $\tau^2$ 는 메커니즘 파라미터의 함수이다.
• 노이즈가 포함된 SGD와 다양한 서브샘플링 비율을 사용한 실험에서, EEAI는 $\delta$ 가 0.1로 설정되어 있을지라도 RDP 및 FFT 방법보다 진짜 프라이버시 손실을 더 날카롭게 봉인하였다.
• 이 논문은 차별적 프라이버시 분야에서 Edgeworth 근사의 첫 번째 알려진 유한 표본 오차 경계를 확립하였으며, 이는 통계학적으로도 독립적인 관심사가 있다.