[논문 리뷰] Differentially Private Learning Needs Hidden State (Or Much Faster Convergence)

Jiayuan Ye, Reza Shokri|arXiv (Cornell University)|2022. 03. 10.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 비밀성 분석을 위한 새로운 접근법을 제안하며, DP-SGD(차별적 보장이 있는 확률적 경사 하강법)에 대해 은닉 모델 상태와 샘플링 및 무작위 후처리를 통한 비밀성 보정을 활용한다. '섞기 및 분할' 및 '반복 없이 샘플링' 미니배치 기법 하에서의 비밀성 역학을 모델링함으로써, 저자들은 강력한 볼록성과 매끄러운 손실 함수에 대해 비밀성 경계가 지수적으로 빠르게 수렴함을 증명한다. 이는 특히 몇 번의 에포크 이후에 구성 기반 경계보다 크게 향상된다.

ABSTRACT

Prior work on differential privacy analysis of randomized SGD algorithms relies on composition theorems, where the implicit (unrealistic) assumption is that the internal state of the iterative algorithm is revealed to the adversary. As a result, the Rényi DP bounds derived by such composition-based analyses linearly grow with the number of training epochs. When the internal state of the algorithm is hidden, we prove a converging privacy bound for noisy stochastic gradient descent (on strongly convex smooth loss functions). We show how to take advantage of privacy amplification by sub-sampling and randomized post-processing, and prove the dynamics of privacy bound for "shuffle and partition" and "sample without replacement" stochastic mini-batch gradient descent schemes. We prove that, in these settings, our privacy bound converges exponentially fast and is substantially smaller than the composition bounds, notably after a few number of training epochs. Thus, unless the DP algorithm converges fast, our privacy analysis shows that hidden state analysis can significantly amplify differential privacy.

연구 동기 및 목표

• 내부 알고리즘 상태에 대한 완전한 액세스를 가정함으로써 과도하게 비밀성 손실을 추정하는 구성 기반 비밀성 분석의 한계를 해결한다.
• 실제 구현에서 더 잘 반영하는 최종 모델 파라미터(은닉 상태)만 분석함으로써, 차별적 학습에서의 비밀성-정확도 트레이드오프를 향상시킨다.
• 샘플링 및 무작위 후처리를 통한 비밀성 보정을 활용하여 다중 에포크 DP-SGD에 대해 더 날카운 비밀성 경계를 개발한다.
• 은닉 상태 가정 하에 '섞기 및 분할' 및 '반복 없이 샘플링' 미니배치 학습 기법에 대한 엄밀한 분석을 제공한다.
• 은닉 상태 분석이 구성 정리보다 훨씬 더 작은 비밀성 경계를 도출함을 보여주며, 특히 수렴 속도가 느린 경우에 두드러진다.

제안 방법

• 최종 모델 파라미터만 공개된다는 가정 하에, 은닉 상태를 가진 노이즈가 섞인 경사 하강법을 모델링한다.
• 노이즈가 섞인 GD 업데이트를 두 단계로 분해함으로써, 무작위 후처리에 대한 새로운 비밀성 보정 경계를 도입한다: 더 작은 노이즈 업데이트 이후 순수한 가우시안 노이즈 추가.
• '섞기 및 분할' 및 '반복 없이 샘플링' 미니배치 선택에 대해, 샘플링 및 후처리 보정을 활용한 새로운 레니 비밀성 차별적 보장(RDP) 경계를 증명한다.
• 로지스틱 회귀에서 기울기 클리핑을 통해 유한한 감도를 확보하는 강력한 볼록성과 매끄러운 손실 함수에 분석을 적용한다.
• 노이즈 스케일링과 기울기 업데이트를 분리하는 새로운 분해 기법을 사용함으로써, 이전 연구 [15]보다 더 날카운 경계를 유도한다.
• 로지스틱 회귀에서 기울기 감도 및 헤시안 성질 분석을 통해 이론적 경계를 검증하여 매끄러움과 강력한 볼록성을 보장한다.

실험 결과

연구 질문

• RQ1 은닉 상태 기반 비밀성 분석이 다중 에포크 DP-SGD에서 구성 기반 방법보다 훨씬 더 날카운 비밀성 경계를 도출할 수 있는가?
• RQ2 샘플링 및 무작위 후처리를 통한 비밀성 보정이 확률적 경사 하강법에서 비밀성 경계 수렴에 어떤 영향을 미치는가?
• RQ3 '섞기 및 분할' 및 '반복 없이 샘플링' 미니배치 선택 전략이 DP-SGD에서 비밀성 손실 역학에 어떤 영향을 미치는가?
• RQ4 은닉 상태 가정 하에서 비밀성 경계가 지수적으로 매우 빠르게 수렴할 수 있는가, 특히 수렴 속도가 느린 모델에 대해서도 마찬가지인가?
• RQ5 제안된 방법은 스트로브 미니배치 학습에 대해 이전 연구 [15]에 비해 날카움과 일반성 측면에서 어떻게 향상되는가?

주요 결과

• 제안된 비밀성 경계는 '섞기 및 분할' 및 '반복 없이 샘플링' 기법 하에서 구성 기반 경계와 달리 지수적으로 수렴한다.
• 강력한 볼록성과 매끄러운 손실 함수에 대해, 몇 번의 학습 에포크 이후 비밀성 경계는 구성 기반 경계보다 상당히 작아진다.
• 완전한 경사 하강법에 대해 이전 연구 [15]보다 더 날카운 경계를 달성하며, 노이즈 업데이트를 더 작은 노이즈 단계와 후처리 단계로 분해하는 새로운 분해 기법을 사용한다.
• 이 방법은 특히 수렴 속도가 느리거나 중간 수준인 모델에 대해 DP-SGD의 비밀성-정확도 트레이드오프를 크게 향상시킨다.
• 샘플링 및 후처리를 통한 비밀성 보정이 은닉 상태 설정에서 효과적으로 활용되어 시간이 지남에 따라 비밀성 손실이 지수적으로 감소한다.
• 이론적 프레임워크는 기울기 클리핑을 통해 유한한 감도와 매끄러움을 보장하는 실용적 설정인 로지스틱 회귀와도 적용 가능하다.