[논문 리뷰] Learning Rate Adaptation for Federated and Differentially Private Learning

Antti Koskela, Antti Honkela|arXiv (Cornell University)|2018. 09. 11.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 비밀보장성 있는 및 피드백 기반 확률적 경사 하강법(SGD)을 위한 새로운 학습률 적응 방법인 ADADP를 제안한다. 이 방법은 검증 세트가 필요로 하지 않으며, 기울기 흐름의 수치적 외삽을 활용해 오차를 추정함으로써 학습 중에 동적으로 학습률을 조정한다. 이로 인해 수동 조정된 Adam 및 SGD와 경쟁 가능한 성능을 달성하며, 검증 세트 없이도 비밀보장성 있는 학습 환경과 피드백 학습 환경 모두에서 우수한 성능을 발휘한다.

ABSTRACT

We propose an algorithm for the adaptation of the learning rate for stochastic gradient descent (SGD) that avoids the need for validation set use. The idea for the adaptiveness comes from the technique of extrapolation: to get an estimate for the error against the gradient flow which underlies SGD, we compare the result obtained by one full step and two half-steps. The algorithm is applied in two separate frameworks: federated and differentially private learning. Using examples of deep neural networks we empirically show that the adaptive algorithm is competitive with manually tuned commonly used optimisation methods for differentially privately training. We also show that it works robustly in the case of federated learning unlike commonly used optimisation methods.

연구 동기 및 목표

• 검증 세트가 종종 실용적이거나 비밀보장성에 해로운 비밀보장성 있는 학습 및 피드백 학습에서 학습률 조정 문제를 해결하기 위해.
• 검증 데이터 없이도 작동하는 엄밀하고 적응형 학습률 방법을 개발하여 계산 비용을 줄이고 비밀보장성 예산을 유지하기 위해.
• 비균일하게 분포된 클라이언트 데이터를 가진 피드백 학습에서 고정된 학습률이 실패하는 상황에서 학습의 안정성과 성능을 향상시키기 위해.
• DP-SGD에서 수동 조정된 최적화기인 Adam과 SGD의 대안으로 비밀보장성 있는 자동화된 방법을 제공하기 위해.

제안 방법

• 이 방법은 기울기 흐름의 미분방정식(ODE)을 수치적으로 외삽하여, 한 단계의 SGD와 두 개의 반단계를 비교함으로써 오차를 추정한다.
• 전체 단계와 두 반단계 간의 차이를 기반으로 학습률 업데이트를 계산하여 최적의 스텝 크기를 근사한다.
• 알고리즘은 DP-SGD 및 피드백 평균화에 통합되며, 모멘트 회계 기법을 통해 비밀보장성 보장을 확보한다.
• 적응 민감도를 제어하기 위해 내재된 허용 오차 초항파rameter를 분석적으로 유도하여 수렴성과 안정성을 보장한다.
• 학습 중에 학습률을 적응적으로 조정하며, 초기 값이 선택에 민감하지 않다. 첫 번째 에포크 내에 최적의 학습률로 수렴한다.
• 적응 후, 학습률 감소 스케줄로 전환하여 수렴 성능을 더욱 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 비밀보장성 있는 학습에서 검증 세트를 피할 수 있는 학습률 적응 방법을 개발할 수 있는가?
• RQ2 기울기 흐름 외삽을 어떻게 활용하여 효율적이고 비밀보장성 있는 방식으로 최적의 학습률을 추정할 수 있는가?
• RQ3 제안된 방법이 수동 조정된 Adam 및 SGD보다 비밀보장성 기반 SGD 환경에서 하이퍼파rameter 조정 없이도 우수한 성능을 발휘하는가?
• RQ4 이 방법은 클라이언트 간에 극도로 비균일한 비아이디어럴(iid) 데이터 분포에서 피드백 학습을 안정화시킬 수 있는가?
• RQ5 허용 오차 초항파rameter가 적응 성능과 수렴에 미치는 영향은 무엇인가?

주요 결과

• ADADP는 MNIST 및 CIFAR-10 실험에서 비밀보장성 기반으로 최적화된 Adam과 경쟁 가능한 성능을 달성하며, 특히 두 번째로 우수한 Adam 설정보다 뛰어난 성능을 보였다.
• σ = 4.0, 6.0, 8.0일 때 DP-SGD에서 ADADP는 σ = 2.0로 조정된 SGD보다 일관되게 뛰어난 성능을 보이며 노이즈 스케일에 대한 강건성을 입증했다.
• 초기 학습률에 민감하지 않으며, 첫 번째 에포크 내에 최적의 학습률로 수렴하여 조정 부담을 줄였다.
• 왜곡된 데이터 분포를 가진 피드백 학습 환경에서 ADADP는 학습을 안정화시키고 높은 테스트 정확도를 유지한다. 반면, Adam과 SGD는 심각하게 성능이 저하되었다.
• 모멘트 회계 기법을 통해 ADADP는 엄밀한 (ε,δ)-비밀보장성 경계를 제공하여 공식적인 비밀보장성 보장을 확보하면서도 유틸리티를 손상시키지 않았다.
• 검증 기반 조정 대비 단일 실행으로 종단 간 훈련을 가능하게 하여 계산 비용을 절감하고 비밀보장성 예산을 유지했다.