[논문 리뷰] Computing Tight Differential Privacy Guarantees Using FFT

Antti Koskela, Joonas Jälkö외 1명|arXiv (Cornell University)|2019. 06. 07.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 11

한 줄 요약

이 논문은 연속적인 1차원 메커니즘에 대한 적분 기반의 개인정보손실분포(PLD)를 효율적으로 평가하기 위해 빠른 푸리에 변환(FFT)을 사용하는 수치적 회계사(Numercial Accountant)를 제안한다. 이 방법은 DP-경사하강법에서 사용되는 부분표본화된 가우시안 메커니즘을 포함한, 이전 방법들에 비해 훨씬 더 날카운트고 빠른 개인정보 보호 한계를 달성한다.

ABSTRACT

Differentially private (DP) machine learning has recently become popular. The privacy loss of DP algorithms is commonly reported using $(\varepsilon,δ)$-DP. In this paper, we propose a numerical accountant for evaluating the privacy loss for algorithms with continuous one dimensional output. This accountant can be applied to the subsampled multidimensional Gaussian mechanism which underlies the popular DP stochastic gradient descent. The proposed method is based on a numerical approximation of an integral formula which gives the exact $(\varepsilon,δ)$-values. The approximation is carried out by discretising the integral and by evaluating discrete convolutions using the fast Fourier transform algorithm. We give both theoretical error bounds and numerical error estimates for the approximation. Experimental comparisons with state-of-the-art techniques demonstrate significant improvements in bound tightness and/or computation time. Python code for the method can be found in Github (https://github.com/DPBayes/PLD-Accountant/).

연구 동기 및 목표

• 연속적인 1차원 출력을 가지는 메커니즘에 대해 엄밀한 $(\varepsilon,\delta)$-차별적 개인정보 보호 보장을 수치적으로 효율적이고 정확하게 계산하는 방법을 개발하는 것.
• 특히 DP-경사하강법과 같은 반복적 DP 알고리즘의 개인정보 회계에서 발생하는 계산 병목 현상을 해결하기 위해, FFT를 활용해 빠른 컨볼루션 평가를 가능하게 하는 것.
• 개인정보손실분포(PLD) 기반의 통합 프레임워크를 사용해, 포아송, 복원 추출, 비복원 추출 등의 다수의 부분표본화 방식을 확장하는 것.
• 정확한 $(\varepsilon,\delta)$-값을 기반으로 하는 적분 공식에 대한 FFT 기반 근사의 이론적 오차 한계와 수치적 오차 추정치를 제공하는 것.

제안 방법

• 정확한 $(\varepsilon,\delta)$-값을 PLD 밀도의 함수로 표현하는 이산화된 적분 공식을 통해 개인정보손실분포(PLD)를 계산한다.
• 다중 메커니즘의 조합을 위해 필요한 이산 컨볼루션은 빠른 푸리에 변환(FFT)을 사용해 계산하여 효율적인 수치 평가를 가능하게 한다.
• 적분은 유한한 격자 위에서 이산화되며, PLD 밀도는 수치적 적분 기법을 통해 근사되며, 오차 한계는 기저 함수의 연속성에 기반한다.
• 이 방법은 DP-SGD의 핵심 구성 요소인 부분표본화된 다차원 가우시안 메커니즘에 적용되며, 포아송 및 결정론적 부분표본화 방식을 모두 사용한다.
• 개인정보손실 함수와 PLD 밀도의 도함수에 기반한 이론적 오차 한계가 유도되어 근사 오차가 통제됨을 보장한다.
• 구현은 파이썬으로 공개되어 있으며, 재현성과 DP 기계학습 워크플로우에의 통합을 위해 깃허브에서 코드를 제공한다.

실험 결과

연구 질문

• RQ1 FFT 기반 수치적 적분을 사용해 연속적 메커니즘에 대한 개인정보손실분포(PLD)를 정확하고 효율적으로 계산할 수 있는가?
• RQ2 기존 방법들인 모멘트 회계사와 레니-차별적 개인정보 보존(RDP) 조합에 비해 FFT 기반 회계사는 정확도와 속도 면에서 어떻게 비교되는가?
• RQ3 포아송, 복원 추출, 비복원 추출 등의 다양한 부분표본화 전략에서 이 방법이 더 날카운트한 $(\varepsilon,\delta)$-DP 경계를 달성할 수 있는가?
• RQ4 정확한 개인정보손실 적분 공식에 대한 FFT 기반 근사의 이론적 및 실증적 오차 한계는 무엇인가?

주요 결과

• FFT 기반 회계사는 기존의 모멘트 회계사와 레니-차별적 개인정보 보존(RDP) 조합 방법에 비해 훨씬 더 날카운트한 $(\varepsilon,\delta)$-DP 경계를 달성한다.
• 특히 고차원 또는 반복적 조합 상황에서 최신 기술에 비해 계산 시간을 크게 줄인다.
• 개인정보손실 함수와 PLD 밀도의 연속성에 기반한 이론적 오차 한계가 도출되었으며, 수치적 오차 추정치는 높은 정확도를 확인한다.
• 이 방법은 하나의 통합 프레임워크 내에서 포아송, 복원 추출, 비복원 추출 등의 다수의 부분표본화 메커니즘을 지원한다.
• 실증 결과는 다양한 하이퍼파rameter 설정에서 특히 낮은 $\delta$ 영역에서 더 날카운트한 개인정보 보호 보장을 달성함을 보여준다.
• 깃허브에 공개된 오픈소스 구현은 DP 기계학습 워크플로우, 예를 들어 DP-SGD에 대한 실용적 구현과 통합을 가능하게 한다.