[논문 리뷰] DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM

Bao Wang, Quanquan Gu외 3명|arXiv (Cornell University)|2019. 06. 28.

Privacy-Preserving Technologies in Data인용 수 3

한 줄 요약

이 논문은 이중적으로 비밀 보장된 경험적 리스크 최소화에서 모델 유틸리티를 향상시키기 위해 고유한 노이즈를 고려한 라플라스 스무딩으로 가우시안 노이즈를 대체하는 새로운 확률적 최적화 방법인 DP-LSSGD를 제안한다. 가우시안 메커니즘에서 노이즈를 스무딩하면서 동일한 프라이버시 보장을 유지함으로써, DP-LSSGD는 볼록 및 비볼록 모델, 특히 딥 네ural 네트워크를 포함한 다양한 모델에서 훈련 안정성과 일반화 성능을 향상시키며, 계산 오버헤드는 극히 미미하다.

ABSTRACT

Machine learning (ML) models trained by differentially private stochastic gradient descent (DP-SGD) have much lower utility than the non-private ones. To mitigate this degradation, we propose a DP Laplacian smoothing SGD (DP-LSSGD) to train ML models with differential privacy (DP) guarantees. At the core of DP-LSSGD is the Laplacian smoothing, which smooths out the Gaussian noise used in the Gaussian mechanism. Under the same amount of noise used in the Gaussian mechanism, DP-LSSGD attains the same DP guarantee, but in practice, DP-LSSGD makes training both convex and nonconvex ML models more stable and enables the trained models to generalize better. The proposed algorithm is simple to implement and the extra computational complexity and memory overhead compared with DP-SGD are negligible. DP-LSSGD is applicable to train a large variety of ML models, including DNNs. The code is available at \url{this https URL}.

연구 동기 및 목표

• 실제로 프라이버시 보장된 머신러닝 모델의 배포를 제한하는, 이중적으로 비밀 보장된 확률적 경사 하강법(DP-SGD)에서의 심각한 유틸리티 저하 문제를 해결한다.
• 프라이버시 예산이나 계산 비용을 늘리지 않고도 프라이버시 보장 하에서 모델 일반화와 훈련 안정성을 향상시킨다.
• 구현이 단순하고 다양한 머신러닝 모델, 특히 딥 네URAL 네트워크에 널리 적용 가능한 방법을 개발한다.
• DP-SGD와 동일한 차별적 프라이버시 보장을 유지하면서 노이즈 스무딩을 통해 모델 성능을 향상시킨다.

제안 방법

• DP-SGD에서 사용하는 가우시안 메커니즘의 표준 가우시안 노이즈를 대체하기 위해 라플라스 스무딩을 도입한다.
• 기울기 업데이트에 스무딩을 적용하여 DP-SGD에서 발생하는 고노이즈 기울기로 인한 분산과 불안정성을 감소시킨다.
• 노이즈 분포가 동일한 프라이버시 보장을 유지하도록 하여 DP-SGD와 동일한 프라이버시 예산(ε)을 유지한다.
• 극단적인 노이즈 값의 영향을 줄이면서도 차별적 프라이버시를 위해 필요한 통계적 성질을 유지하는 스무딩 커널을 사용한다.
• 스무딩 단계를 직접 스트로스틱 최적화 루프에 통합하여 최소한의 코드 변경으로도 원활한 구현이 가능하도록 한다.
• 표준 DP-SGD에 비해 계산 및 메모리 오버헤드가 극히 미미함을 보장한다.

실험 결과

연구 질문

• RQ1 라플라스 스무딩은 표준 DP-SGD에 비해 프라이버시 보장 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 노이즈로 인한 불안정성을 줄이면서도 동일한 프라이버시 보장(ε)을 유지하는가?
• RQ3 DP-LSSGD는 볼록 및 비볼록 머신러닝 모델, 특히 딥 네URAL 네트워크에서 어떻게 성능을 발휘하는가?
• RQ4 훈련 파이프라인에 라플라스 스무딩을 통합할 경우 계산 및 메모리 오버헤드는 얼마나 되는가?
• RQ5 프라이버시나 프라이버시 예산을 변경하지 않고도 훈련 안정성을 향상시킬 수 있는가?

주요 결과

• 동일한 프라이버시 예산 하에서 DP-LSSGD는 비볼록 모델에서 DP-SGD보다 더 뛰어난 일반화 성능과 훈련 안정성을 달성한다.
• DP-SGD와 동일한 차별적 프라이버시 보장(ε)을 유지하면서도 노이즈로 인한 모델 수렴에 대한 부정적 영향을 줄인다.
• 모델 유틸리티 향상은 볼록 및 비볼록 머신러닝 모델, 특히 딥 네URAL 네트워크 전반에서 관찰된다.
• 라플라스 스무딩으로 인해 발생하는 계산 및 메모리 오버헤드는 표준 DP-SGD에 비해 극히 미미하다.
• 제안된 방법은 구현이 단순하며 다양한 머신러닝 프레임워크와 모델 아키텍처와 호환된다.
• 실증 결과는 DP-LSSGD가 동일한 프라이버시 제약 조건 하에서 DP-SGD보다 높은 테스트 정확도를 달성할 수 있음을 보여준다.