[논문 리뷰] Efficient Privacy-Preserving Stochastic Nonconvex Optimization

Lingxiao Wang, Bargav Jayaraman외 2명|arXiv (Cornell University)|2019. 10. 30.

Privacy-Preserving Technologies in Data참고 문헌 56인용 수 11

한 줄 요약

이 논문은 비볼록 경험적 리스크 최소화를 위한 차별적(private) 확률적 최적화 알고리즘인 DP-SRM을 제안한다. 이 알고리즘은 기울기 분산을 줄이기 위해 확률적 순환 모멘텀을 활용한다. 기존 작업에 비해 향상된 유틸리티와 더 낮은 기울기 복잡도를 달성하며, 더 탴튼한 프라이버시-유틸리티 트레이드오프와 벤치마크 비볼록 문제(예: 로지스틱 회귀 및 CNN)에서 더 빠른 수렴을 보인다.

ABSTRACT

While many solutions for privacy-preserving convex empirical risk minimization (ERM) have been developed, privacy-preserving nonconvex ERM remains a challenge. We study nonconvex ERM, which takes the form of minimizing a finite-sum of nonconvex loss functions over a training set. We propose a new differentially private stochastic gradient descent algorithm for nonconvex ERM that achieves strong privacy guarantees efficiently, and provide a tight analysis of its privacy and utility guarantees, as well as its gradient complexity. Our algorithm reduces gradient complexity while improves the best previous utility guarantee given by Wang et al. (NeurIPS 2017). Our experiments on benchmark nonconvex ERM problems demonstrate superior performance in terms of both training cost and utility gains compared with previous differentially private methods using the same privacy budgets.

연구 동기 및 목표

• 민감한 정보를 포함한 대규모 데이터셋에 대해 비볼록 머신러닝에서 프라이버시 보존 최적화의 과제를 해결하기 위해.
• 강력한 프라이버시 보장을 유지하면서 유틸리티와 계산 효율성을 향상시키는 차별적(private) 확률적 최적화 알고리즘을 개발하기 위해.
• 비볼록 ERM를 위한 기존 차별적(private) 방법에서 전역 기울기 계산의 높은 계산 비용 문제를 해결하기 위해.
• 제안된 방법에 대해 프라이버시(레니(Rényi) 차별적(private) 프라이버시 사용)와 유틸리티(기울기 복잡도 및 오차 한계)의 엄밀한 이론적 분석을 제공하기 위해.

제안 방법

• 기울기 분산을 줄이기 위해 순환 모멘텀 추정을 활용하는 새로운 차별적(private) 확률적 순환 모멘텀(DP-SRM) 알고리즘을 도입한다.
• 정밀하고 탴튼 프라이버시 분석을 제공하기 위해 레니(Rényi) 차별적(private) 프라이버시(RDP)를 사용한다. 이는 더 나은 프라이버시-유틸리티 트레이드오프를 가능하게 한다.
• 적응형 배치 크기와 그리드 서치를 통해 조정된 모멘텀 파라미터를 사용하는 확률적 기울기 추정을 적용하여 수렴성과 프라이버시의 균형을 맞춘다.
• 기울기의 순환 추정을 유지함으로써 주기적인 전역 기울기 계산을 피함으로써, 분산 감소 방법에 비해 확장성 향상을 이룬다.
• 기울기 클리핑과 노이즈 주입을 적용하여 차별적(private) 프라이버시를 보장하며, 클리핑 파라미터는 기울기 노름에 기반하여 선택된다.
• 이론적 분석을 통해 $ O\big{(}(d\log(1/\delta))^{1/3}/(n\epsilon)^{2/3}\big{)} $의 향상된 유틸리티 한계와 $ O\big{(}(n\epsilon)^2/(d\log(1/\delta))\big{)} $의 기울기 복잡도를 확립한다.

실험 결과

연구 질문

• RQ1 비볼록 ERM를 위한 차별적(private) 확률적 최적화 알고리즘이 기존 방법보다 더 높은 유틸리티를 달성하면서도 강력한 프라이버시 보장을 유지할 수 있는가?
• RQ2 확률적 순환 모멘텀의 사용이 차별적(private) 비볼록 최적화의 수렴성과 효율성을 어떻게 향상시키는가?
• RQ3 비볼록 환경에서 프라이버시 예산, 기울기 복잡도, 모델 유틸리티 간 최적의 트레이드오프는 무엇인가?
• RQ4 동일한 프라이버시 예산 하에서 제안된 방법이 DP-SGD에 비해 테스트 정확도와 학습 비용 측면에서 승리할 수 있는가?
• RQ5 기존 작업에 비해 제안된 알고리즘의 이론적 기울기 복잡도와 유틸리티 한계는 무엇인가?

주요 결과

• 제안된 DP-SRM 알고리즘은 $ O\big{(}(d\log(1/\delta))^{1/3}/(n\epsilon)^{2/3}\big{)} $의 유틸리티 한계를 달성하며, 이는 이전 최고 성능인 $ O\big{(}(d\log(1/\delta))^{1/4}/(n\epsilon)^{1/2}\big{)} $보다 향상된 결과이다.
• DP-SRM의 기울기 복잡도는 $ O\big{(}(n\epsilon)^2/(d\log(1/\delta))\big{)} $이며, 문제 차원 $ d $ 가 클 경우 이전 방법보다 낮다.
• MNIST에서 $ \epsilon=3.0 $ 및 $ \epsilon=1.2 $일 때 각각 3.62% 및 4.49%의 테스트 오차를 기록했으며, DP-SGD보다 정확도에서 각각 0.19% 및 0.84% 향상되었다.
• CIFAR-10의 CNN6에서 $ \epsilon=4.0 $일 때 DP-SRM은 31.0%의 테스트 오차를 기록했으며, DP-SGD와 동일한 성능을 달성했지만, 6.8×10³회 반복과 643초 내에 수행되었고, DP-SGD의 1.3×10⁴회 반복과 1115초 대비 58% 수준이었다.
• MNIST와 CIFAR-10 양측에서 DP-SGD 대비 학습 시간을 40% 감소시키고 반복 수를 50% 감소시켰으며, 유사하거나 더 높은 모델 정확도를 달성했다.
• 실험 결과 DP-SRM가 프라이버시가 없는 기준 모델에 가장 가까운 정확도를 제공하며, 동일한 프라이버시 예산 하에서 계산 비용을 크게 감소시킴을 확인했다.