[논문 리뷰] Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent

Rishav Chourasia, Jiayuan Ye외 1명|arXiv (Cornell University)|2021. 02. 11.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 노이즈가 있는 경사하강법과 랭게빈 확산에서 미분적 비밀유지의 역학에 대한 새로운 분석을 제안하며, 연속 시간 확률과정을 통해 비밀유지 손실을 모델링한다. 매개변수 수렴를 고려할 때, 매끄럽고 강하게 볼록한 손실 함수 하에서 레니 비밀유지(Рényi differential privacy, RDP) 손실이 반복 횟수에 따라 지수적으로 수렴함을 증명하며, 구성 정리에 의존하는 기존 방법보다 훨씬 더 날카운 경계를 제공한다. 이는 최적의 유틸리티와 기울기 복잡도를 동시에 달성한다.

ABSTRACT

What is the information leakage of an iterative randomized learning algorithm about its training data, when the internal state of the algorithm is \\emph{private}? How much is the contribution of each specific training epoch to the information leakage through the released model? We study this problem for noisy gradient descent algorithms, and model the \\emph{dynamics} of R\\'enyi differential privacy loss throughout the training process. Our analysis traces a provably \\emph{tight} bound on the R\\'enyi divergence between the pair of probability distributions over parameters of models trained on neighboring datasets. We prove that the privacy loss converges exponentially fast, for smooth and strongly convex loss functions, which is a significant improvement over composition theorems (which over-estimate the privacy loss by upper-bounding its total value over all intermediate gradient computations). For Lipschitz, smooth, and strongly convex loss functions, we prove optimal utility with a small gradient complexity for noisy gradient descent algorithms.

연구 동기 및 목표

• 구성 정리에 의존하여 유출을 과도하게 추정하는 반복적 랜덤 학습 알고리즘의 비밀유지 분석 격차를 해소한다.
• 모델 매개변수의 수렴을 고려하여 다중 학습 에포크 동안 노이즈가 있는 경사하강법에 대해 엄밀한 동적 비밀유지 경계를 제공한다.
• 미분적 비밀유지 최적화에서 비밀유지, 유틸리티, 계산 효율성(기울기 복잡도) 간의 상호작용을 분석한다.
• 실제로 학습 중 비밀유지 보존이 발생하는 동역학을 반영하는 레니 비밀유지 손실에 대해 증명 가능한 엄밀한 경계를 수립한다.

제안 방법

• 이웃 데이터셋에 대응하는 연속 시간 랭게빈 확산 과정의 쌍으로 학습 과정을 모델링한다.
• 이웃 데이터셋에서 학습된 모델의 매개변수 분포 간 레니 발산(비밀유지 손실)의 변화율을 제한하기 위해 미분 부등식을 유도한다.
• 손실 함수의 강한 볼록성과 매끄러움을 활용하여 비밀유지 손실이 시간에 따라 지수적으로 수렴함을 증명한다.
• 투영 연산자의 수축 성질과 농도 불등식을 활용하여 최적 해에서 모델 매개변수의 기대 이탈을 제어한다.
• 포커-플랑크 방정식과 확률적 미적분을 적용하여 모델 매개변수에 대한 확률 밀도의 진화를 분석한다.
• 이산적 노이즈가 있는 경사하강법을 연속 확산 과정으로 변환하여 RDP를 사용한 정밀한 미분적 비밀유지 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 경사하강법의 비밀유지 손실은 다중 학습 에포크에 걸쳐 어떻게 변화하며, 구성 정리보다 더 엄밀한 경계를 얻을 수 있는가?
• RQ2 특히 수렴과 혼합 성질을 갖는 알고리즘의 동역학은 실제 훈련 데이터에 대한 정보 유출에 어떤 역할을 하는가?
• RQ3 최적화 과정의 반복적 성격이 반영된 진정한 비밀유지 보존을 반영할 수 있는 더 엄밀한 RDP 경계를 도출할 수 있는가?
• RQ4 미분적 비밀유지 확률적 최적화에서 비밀유지, 유틸리티, 기울기 복잡도 간 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 비밀유지 경계는 엄밀한가? 그리고 모델 매개변수 분포 간 발산 측면에서 악성 시나리오에 의해 달성될 수 있는가?

주요 결과

• 1-강한 볼록성과 β-매끄러움 조건 하에서, 노이즈가 있는 경사하강법의 레니 비밀유지(RDP) 손실은 반복 횟수 K에 대해 지수적으로 수렴하며, ε = O(α/(σ²n²)(1−e^(-ηK/2)))를 달성한다.
• 제안된 경계는 증명 가능한 엄밀함을 갖는다. 즉, 레니 발산이 유도된 경계와 정확히 일치하는 손실 함수와 이웃 데이터셋이 존재한다.
• 리프시츠, 매끄럽고 강하게 볼록한 손실 함수에 대해, 알고리즘은 오차 O(d/(n²ε²))를 달성하며 기울기 복잡도 O(n log n)로 최적의 유틸리티를 확보한다. 이는 이전 결과보다 향상된 성능이다.
• 기존의 노이즈가 있는 SGD 방법 대비 기울기 복잡도가 n/log n 배 감소하여 계산 효율성이 크게 향상된다.
• 비밀유지 보존은 순수하게 서브샘플링이나 노이즈 주입 때문이 아니라, 특히 최소값 수렴에 기인한 최적화 과정의 내재적 역학에서 기인한다.
• 분석 결과, 중간 기울기 갱신이 구성 정리에서 가정하는 것보다 비밀유지 누출에 기여도가 낮음을 보여주며, 더 엄밀한 종단 간 비밀유지 보장을 정당화한다.