[논문 리뷰] Deep Learning with Gaussian Differential Privacy

Zhiqi Bu, Jinshuo Dong외 2명|arXiv (Cornell University)|2019. 11. 26.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 22

한 줄 요약

이 논문은 깊이 있는 신경망을 확률적 경사 하강법(SGD)과 Adam으로 훈련할 때, 분석적으로 접근 가능하고 더 날카운트인 프라이버시 경계를 유도하기 위해 f-차별적 프라이버시, 특히 가우시안 차별적 프라이버시(GDP)를 제안한다. f-DP 프레임워크가 (ε,δ)-DP의 모멘텀 애널리스트 기법과 비교해 동일한 프라이버시 보장을 유지하면서 더 적은 노이즈를 허용함으로써 모델 유틸리티를 향상시키는 닫힌 형식의 프라이버시 회계를 가능하게 함을 보여준다.

ABSTRACT

Deep learning models are often trained on datasets that contain sensitive information such as individuals' shopping transactions, personal contacts, and medical records. An increasingly important line of work therefore has sought to train neural networks subject to privacy constraints that are specified by differential privacy or its divergence-based relaxations. These privacy definitions, however, have weaknesses in handling certain important primitives (composition and subsampling), thereby giving loose or complicated privacy analyses of training neural networks. In this paper, we consider a recently proposed privacy definition termed extit{$f$-differential privacy} [18] for a refined privacy analysis of training neural networks. Leveraging the appealing properties of $f$-differential privacy in handling composition and subsampling, this paper derives analytically tractable expressions for the privacy guarantees of both stochastic gradient descent and Adam used in training deep neural networks, without the need of developing sophisticated techniques as [3] did. Our results demonstrate that the $f$-differential privacy framework allows for a new privacy analysis that improves on the prior analysis~[3], which in turn suggests tuning certain parameters of neural networks for a better prediction accuracy without violating the privacy budget. These theoretically derived improvements are confirmed by our experiments in a range of tasks in image classification, text classification, and recommender systems. Python code to calculate the privacy cost for these experiments is publicly available in the exttt{TensorFlow Privacy} library.

연구 동기 및 목표

• (ε,δ)-차별적 프라이버시가 딥러닝 훈련 중 복합성과 서브샘플링을 다루는 데에 한계가 있음을 해결하기 위해.
• 모멘텀 애널리스트 기법을 초월하는 더 해석 가능하고 분석적으로 접근 가능한 프라이버시 프레임워크를 개발하기 위해.
• 노이즈가 있는 최적화 알고리즘에 대해 더 날카운트한 프라이버시 경계를 도출함으로써 프라이버시와 모델 유틸리티의 더 나은 트레이드오프를 가능하게 하기 위해.
• 이론적 개선 사항을 이미지 분류, 텍스트 분류, 추천 시스템에서의 경험적 실험을 통해 검증하기 위해.
• f-DP 프레임워크 하에서 프라이버시 비용을 계산하기 위한 실용적 구현을 텐서플로우 프라이버시 라이브러리를 통해 제공하기 위해.

제안 방법

• 복합성과 서브샘플링을 정확히 처리할 수 있는 (ε,δ)-DP의 일반화인 f-차별적 프라이버시(f-DP)를 활용하며, 가설 검증 해석을 유지한다.
• 중앙극한정리(central limit theorem, CLT)를 적용하여, 노이즈가 있는 경사 하강 업데이트의 복합 프라이버시 손실을 이동된 정규분포로 근사한다.
• f-DP 프레임워크 하에서 NoisySGD와 NoisyAdam의 프라이버시 손실에 대해 닫힌 형식의 표현식을 유도하며, 모멘텀 애널리스트가 요구하는 수치 계산을 피한다.
• f-DP의 표준 단일 매개변수 가족인 가우시안 차별적 프라이버시(GDP)를 사용하여 프라이버시 보장을 단일 매개변수 μ로 표현한다.
• 프라이버시 손실 랜덤 변수(PLRV)와 그 모멘트 생성 함수를 활용하여 프라이버시 경계를 분석적으로 계산한다.
• (ε,δ)-DP 보장을 동일하게 유지하면서 MNIST, 텍스트 분류, 추천 시스템에서의 실험을 통해 접근 방식을 검증하며, 테스트 정확도와 프라이버시 소비를 비교한다.

실험 결과

연구 질문

• RQ1 f-차별적 프라이버시는 (ε,δ)-DP의 모멘텀 애널리스트에 비해 딥러닝에 대해 더 날카운트하고 분석적으로 접근 가능한 프라이버시 경계를 제공할 수 있는가?
• RQ2 f-DP 프레임워크는 동일한 프라이버시 보장을 유지하면서 더 적은 노이즈를 허용함으로써 더 높은 모델 유틸리티를 가능하게 하는가?
• RQ3 f-DP의 CLT 기반 근사법은 모멘텀 애널리스트에 비해 프라이버시 회계 정확도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ4 SGD와 Adam 최적화에서 f-DP 프레임워크는 프라이버시-유틸리티 트레이드오프를 얼마나 향상시키는가?
• RQ5 f-DP의 닫힌 형식 프라이버시 경계는 다양한 기계학습 작업에 실제로 적용되고 검증될 수 있는가?

주요 결과

• f-차별적 프라이버시 프레임워크는 NoisySGD와 NoisyAdam에 대해 수치 계산이 필요 없는 닫힌 형식의 프라이버시 경계를 도출한다.
• CLT 기반 접근법은 동일한 (ε,δ)-DP 예산 하에서 모멘텀 애널리스트보다 더 높은 테스트 정확도를 달성하며, ε=4일 때 96%의 정확도를 기록한 반면, 모멘텀 애널리스트 사용 시에는 92%였다.
• 동일한 (ε,δ)-DP 보장을 유지할 때, CLT 접근법은 각각 18, 26, 45 에포크에 95%, 96%, 97%의 테스트 정확도를 달성했으며, 모멘텀 애널리스트 대비 각각 23, 33, 64 에포크를 소요함으로써 더 빠른 수렴을 보였다.
• 동일한 (ε,δ)-DP 보장 하에서 f-DP 프레임워크는 더 강력한 프라이버시 보호를 제공한다. 예를 들어, 1.13-GDP 대비 (7.10,10−5)-DP로 나타나며, 이는 더 유리한 프라이버시-유틸리티 트레이드오프를 의미한다.
• f-DP를 통한 프라이버시 비용 계산은 (ε,δ)-DP보다 더 해석 가능하고 보수적이지 않으며, 프라이버시 예산을 위반하지 않으면서도 더 높은 모델 유틸리티를 가능하게 한다.
• 제안된 방법은 텐서플로우 프라이버시 라이브러리에 구현되어 있으며, 공개적으로 재현 가능하고 f-DP 기반의 프라이버시 딥러닝의 실용적 구현을 가능하게 한다.