[논문 리뷰] Dynamic Differential-Privacy Preserving SGD

Jian Du, Song Li외 3명|arXiv (Cornell University)|2021. 10. 30.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 7

한 줄 요약

이 논문은 엄격한 프라이버시 예산 하에서 모델 정확도를 향상시키기 위해 훈련 단계 동안 기울기 클리핑 임계값과 노이즈 수준을 적응적으로 조정하는 새로운 차별적 프라이버시 최적화 방법인 동적 DP-SGD를 제안한다. 확장된 가우시안 차별적 프라이버시 중심극한정리의 활용을 통해 더 날카운 프라이버시 회계를 달성하고 성능 손실를 크게 감소시켰으며, ε=1.2일 때 MNIST에서 2.49%의 정확도 격차를 보이며 기존 DP-SGD를 뛰어넘고, ε=1일 때 연합 학습에서 1.72%의 정확도 격차를 기록하여 우수한 성능을 입증하였다.

ABSTRACT

The vanilla Differentially-Private Stochastic Gradient Descent (DP-SGD), including DP-Adam and other variants, ensures the privacy of training data by uniformly distributing privacy costs across training steps. The equivalent privacy costs controlled by maintaining the same gradient clipping thresholds and noise powers in each step result in unstable updates and a lower model accuracy when compared to the non-DP counterpart. In this paper, we propose the dynamic DP-SGD (along with dynamic DP-Adam, and others) to reduce the performance loss gap while maintaining privacy by dynamically adjusting clipping thresholds and noise powers while adhering to a total privacy budget constraint. Extensive experiments on a variety of deep learning tasks, including image classification, natural language processing, and federated learning, demonstrate that the proposed dynamic DP-SGD algorithm stabilizes updates and, as a result, significantly improves model accuracy in the strong privacy protection region when compared to the vanilla DP-SGD. We also conduct theoretical analysis to better understand the privacy-utility trade-off with dynamic DP-SGD, as well as to learn why Dynamic DP-SGD can outperform vanilla DP-SGD.

연구 동기 및 목표

• 고정된, 최적화되지 않은 클리핑 및 노이즈 설정으로 인해 발생하는 기존 DP-SGD의 성능 저하 문제를 해결하기 위해.
• 딥 러닝에서 프라이버시-유용성 격차를 줄이기 위해 훈련 단계에 걸쳐 프라이버시 비용을 동적으로 할당하기 위해.
• 사전 정의된 총 프라이버시 예산을 유지하면서 이론적으로 탄탄한, 노이즈 및 클리핑 조정을 위한 적응 메커니즘을 개발하기 위해.
• 강력한 프라이버시 제약 조건(예: ε ≤ 1.2) 하에서 이미지 분류, 자연어 처리 및 연합 학습에서 모델 정확도를 향상시키기 위해.
• 비균일한 프라이버시 비용 할당이 모델 유용성과 수렴 안정성에 미치는 영향에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 비균일한 프라이버시 비용을 훈련 단계에 걸쳐 분석적으로 조합할 수 있도록 가우시안 차별적 프라이버시 중심극한정리를 확장한다.
• 적응 클리핑 및 노이즈 스케일링을 이끄는 두 가지 동적 校정 전략인 민감도 감쇠와 증가하는 μt를 제안한다.
• 국소 기울기 민감도와 곡률(Qt)에 따라 의존하는 이론적 경계를 사용하여 최적의 노이즈 분산 σt와 클리핑 임계값 Ct를 유도한다.
• 실시간 기울기 통계 기반으로 반복 단계마다 σt와 Ct를 조정함으로써 동적 DP-SGD 및 동적 DP-Adam을 구현한다.
• 확장된 중심극한정리를 통한 정밀한 프라이버시 회계를 활용하여 총 프라이버시 예산을 초과하지 않으면서도 단계별 적응 조정을 허용한다.
• 효율적이고 정확한 프라이버시 비용 추적을 가능하게 하는 δ(ε;μ)에 대한 폐쇄형 표현식을 사용한다.

실험 결과

연구 질문

• RQ1 고정된 프라이버시 예산을 위반하지 않으면서도 기울기 클리핑 임계값과 노이즈 수준을 동적으로 조정함으로써 차별적 프라이버시 딥 러닝에서 모델 정확도를 향상시킬 수 있는가?
• RQ2 훈련 단계에 걸쳐 비균일한 프라이버시 비용 할당이 DP-SGD의 유용성-프라이버시 트레이드오프에 어떤 영향을 미치는가?
• RQ3 프라이버시 보장을 유지하면서 최적의 노이즈 및 클리핑 적응 조정이 가능한 이론적 조건는 무엇인가?
• RQ4 동적 DP-SGD는 기존 DP-SGD에서 관찰되는 램프업 불안정성을 줄이고 학습 업데이트를 안정화시키는가?
• RQ5 정확도와 프라이버시 효율성 측면에서 AdaClip이나 적응 노이즈와 같은 기존의 적응 방법과 비교해 동적 DP-SGD는 어떻게 성능을 내는가?

주요 결과

• 동적 DP-SGD는 ε=1.2일 때 MNIST에서 비-프라이버시 모델 대비 정확도 격차를 단 2.49%로 줄여 기존 DP-SGD를 크게 뛰어넘었다.
• 연합 학습 환경에서는 ε=1일 때 성능 손실가 1.72%로 줄어들어 높은 프라이버시 제약 조건 하에서도 뛰어난 유용성을 입증하였다.
• 메서드는 기울기 업데이트를 안정화시켜 기존 DP-SGD에서 관찰되는 램프업 단계를 제거했으며, 테스트 손실 및 기울기 노름 경로를 통해 이를 확인하였다.
• 이론적 분석을 통해 동적 노이즈 및 클리핑이 편향과 분산 항목을 최소화함으로써 유용성 손실의 상한선을 감소시킴을 확인하였다.
• 확장된 중심극한정리는 정밀한 프라이버시 회계를 가능하게 하여 총 프라이버시 예산을 초과하지 않으면서도 동적 조정을 허용하였다.
• 실험 결과는 이미지 분류, 자연어 처리 및 연합 학습 전반에 걸쳐 일관된 성능 향상을 보이며 이 메서드의 일반화 능력을 입증하였다.