[논문 리뷰] Learning rate adaptation for differentially private stochastic gradient descent

Antti Koskela, Antti Honkela|arXiv (Cornell University)|2018. 09. 11.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 차별적 비공식적 학습률 적응 방법을 제안하며, DP-SGD에서 검증 세트가 필요 없도록 보간 기반 오차 추정을 사용한다. 기울기 업데이트에서 전체 단계와 반단계를 비교하고, 모멘텀 회계사( moments accountant)를 적용하여 엄밀한 비밀성 보장 범위를 확보함으로써, DP-SGD와 차별적 비공식적 변분 추론에서 수동으로 튜닝된 최적화기와 경쟁 가능한 성능을 달성한다.

ABSTRACT

Differentially private learning has recently emerged as the leading approach for privacy-preserving machine learning. Differential privacy can complicate learning procedures because each access to the data needs to be carefully designed and carries a privacy cost. For example, standard parameter tuning with a validation set cannot be easily applied. In this paper, we propose a differentially private algorithm for the adaptation of the learning rate for differentially private stochastic gradient descent (SGD) that avoids the need for validation set use. The idea for the adaptiveness comes from the technique of extrapolation in classical numerical analysis: to get an estimate for the error against the gradient flow which underlies SGD, we compare the result obtained by one full step and two half-steps. We prove the privacy of the method using the moments accountant mechanism. This allows us to compute tight privacy bounds. Empirically we show that our method is competitive with manually tuned commonly used optimisation methods for training deep neural networks and differentially private variational inference.

연구 동기 및 목표

• 차별적 비공식적 기계 학습에서 하이퍼파rameter 튜닝, 특히 학습률 선택 문제를 검증 세트에 의존하지 않고 해결하기 위해.
• DP-SGD와 호환되는 비밀성 보장 최적화 메커니즘을 개발하여 강력한 비밀성 보장을 유지하기 위해.
• 기울기 흐름에 대한 상대 오차를 추정함으로써 DP-SGD에서 자동으로 적응형 학습률 스케줄링을 가능하게 하기 위해.
• 모멘텀 회계사를 통해 엄밀한 비밀성 회계를 보장하여 정확하고 엄밀한 비밀성 보장 범위를 확보하기 위해.
• 딥 러닝과 차별적 비공식적 변분 추론에서 수동으로 튜닝된 최적화기와의 성능을 실증적으로 평가하기 위해.

제안 방법

• 이 방법은 수치 해석에서 유래한 보간 기법을 사용하여, 전체 단계와 두 개의 반단계를 비교함으로써 이산적 DP-SGD 업데이트와 연속적 기울기 흐름 사이의 오차를 추정한다.
• 전체 단계와 두 개의 반단계 경로 간의 불일치를 기반으로 학습률 적응 신호를 계산하며, 이는 최적화 경로의 국소 곡률과 오차를 반영한다.
• 전체 훈련 과정에 대해 엄밀한 비밀성 보장 범위를 계산하기 위해 모멘텀 회계사 메커니즘을 적용한다.
• 검증 세트에 접근할 필요 없이, 추정된 오차에 기반해 훈련 중에 학습률을 적응적으로 조정한다.
• 정밀한 노이즈 주입과 회계를 통해 각 기울기 업데이트마다 비밀성을 유지하면서 DP-SGD 프레임워크에 통합된다.
• 이 방법은 기존 DP-SGD 구현과 즉시 통합 가능하도록 설계되어 있으며, 최소한의 수정만 필요하다.

실험 결과

연구 질문

• RQ1 검증 세트를 사용하지 않고도 차별적 비공식적 학습률 적응 방법을 설계할 수 있는가?
• RQ2 DP-SGD 훈련 중에 기울기 흐름에 대한 상대 오차를 비밀성 보장 방식으로 어떻게 추정할 수 있는가?
• RQ3 모멘텀 회계사 메커니즘이 적응형 학습률 스케줄링과 효과적으로 통합되어 엄밀한 비밀성 보장 범위를 유지할 수 있는가?
• RQ4 제안된 방법의 성능은 DP-SGD와 차별적 비공식적 변분 추론에서 수동으로 튜닝된 최적화기와 비교해 어떻게 되는가?
• RQ5 적응형 학습률 스케줄링은 차별적 비공식적 학습에서 모델 수렴과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 차별적 비공식적 조건에서 딥 네트워크 훈련에서 수동으로 튜닝된 최적화기와 경쟁 가능한 성능을 달성한다.
• 이 방법은 검증 세트가 필요 없음을 확인하여, DP-SGD에서 하이퍼파rameter 튜닝 과정을 단순화한다.
• 모멘텀 회계사를 통해 엄밀한 비밀성 보장 범위를 확보하여 정확하고 신뢰할 수 있는 비밀성 회계를 가능하게 한다.
• 실증 결과에 따르면, 적응형 학습률 방법은 DP-SGD와 차별적 비공식적 변분 추론 환경 모두에서 잘 일반화됨을 보였다.
• 보간 기반 오차 추정은 효과적으로 국소 최적화 역학을 포착하여 효과적인 학습률 조정을 가능하게 한다.
• 이 방법은 강력한 비밀성 보장을 유지하면서도, 사전 학습 벤치마크에서 최상의 성능을 달성한다.