[논문 리뷰] Efficient Privacy-Preserving Nonconvex Optimization.

Lingxiao Wang, Bargav Jayaraman외 2명|arXiv (Cornell University)|2019. 10. 30.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

이 논문은 비볼록 경험 위험 최소화(ERM)를 위한 차별적 비밀 보장 확보 기반의 확률적 경사 하강법(DP-SGD) 알고리즘을 제안하며, 감소된 경사 복잡도로 엄밀한 비밀 보장과 유효성 보장을 달성한다. 이는 안전한 다중 당사자 계산을 활용해 분산 환경으로 확장되어 중심 집중형 성능을 유지하면서도 강력한 비밀 보장과 효율성을 확보한다. 실제 및 벤치마크 데이터셋에서 검증되었다.

ABSTRACT

While many solutions for privacy-preserving convex empirical risk minimization (ERM) have been developed, privacy-preserving nonconvex ERM remains under challenging. In this paper, we study nonconvex ERM, which takes the form of minimizing a finite-sum of nonconvex loss functions over a training set. To achieve both efficiency and strong privacy guarantees with efficiency, we propose a differentially-private stochastic gradient descent algorithm for nonconvex ERM, and provide a tight analysis of its privacy and utility guarantees, as well as its gradient complexity. We show that our proposed algorithm can substantially reduce gradient complexity while matching the best-known utility guarantee obtained by Wang et al. (2017). We extend our algorithm to the distributed setting using secure multi-party computation, and show that it is possible for a distributed algorithm to match the privacy and utility guarantees of a centralized algorithm in this setting. Our experiments on benchmark nonconvex ERM problems and real datasets demonstrate superior performance in terms of both training time and utility gains compared with previous differentially-private methods using the same privacy budgets.

연구 동기 및 목표

• 비볼록 경험 위험 최소화(ERM)를 위한 효율적이고 비밀 보장이 보장되는 최적화 기술은 볼록 케이스에 비해 아직 개발이 부족한 점을 보완한다.
• 비볼록 ERM에 특화된 차별적 비밀 보장 확보 기반의 확률적 경사 하강법을 개발하여 비밀 보장, 유효성, 계산 효율성 간의 균형을 확보한다.
• 기존 연구에 비해 훨씬 감소된 경사 복잡도를 기반으로 하면서도 비볼록 DP-ERM에서 가장 우수한 유효성 보장을 달성한다.
• 안전한 다중 당사자 계산을 활용해 중심 집중형 알고리즘을 분산 환경으로 확장하여, 분산 프로토콜이 중심 집중형 알고리즘과 동일한 비밀 보장과 유효성을 확보할 수 있음을 보장한다.
• 고정된 비밀 보장 예산 하에서 벤치마크 및 실제 비볼록 ERM 문제에서 학습 시간과 유효성 측면에서의 경험적 우수성을 입증한다.

제안 방법

• 비볼록 유한 합 최소화 문제에 특화된 새로운 차별적 비밀 보장 확률적 경사 하강법(DP-SGD) 알고리즘을 제안한다.
• 고도로 발전된 복합 정리 기반으로 정밀한 비밀 손실 한계를 설정한 새로운 비밀 분석 기법을 도입하여, 더 적은 경사 계산 횟수로도 강력한 비밀 보장을 가능하게 한다.
• 노이즈 주입 및 스텝 크기 선택을 철저히 조정하여 유효성을 유지하면서도 경사 평가 횟수를 최소화함으로써 경사 복잡도를 최적화한다.
• 안전한 다중 당사자 계산(MPC)을 활용해 원시 데이터 폭로 없이 분산 학습을 가능하게 하여 탈중앙화 환경에서 종단 간 비밀 보장을 확보한다.
• 중앙 집중형 알고리즘의 비밀 보장과 유효성을 유지하면서도 통신 효율적인 프로토콜을 설계한다.
• 비볼록 경계에서의 학습 안정성을 확보하면서도 차별적 비밀 보장을 유지하기 위해 적응형 학습률과 경사 클리핑 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 비볼록 ERM를 위한 차별적 비밀 보장 최적화 알고리즘이 기존 방법에 비해 더 강력한 비밀 보장과 높은 유효성 보장과 함께 감소된 경사 복잡도를 달성할 수 있는가?
• RQ2 동일한 비밀 보장 예산 하에서 제안된 DP-SGD 알고리즘은 Wang 등(2017)의 최첨단 방법에 비해 유효성과 효율성 측면에서 어떻게 비교되는가?
• RQ3 안전한 다중 당사자 계산을 활용해 중심 집중형 알고리즘과 동일한 비밀 보장과 유효성을 확보할 수 있는 분산 DP-ERM 알고리즘을 설계할 수 있는가?
• RQ4 제안된 방법은 실제 및 벤치마크 비볼록 ERM 데이터셋에서 학습 시간을 얼마나 줄이고 모델 유효성을 얼마나 향상시키는가?
• RQ5 경사 복잡도 감소가 차별적 비밀 보장 비볼록 최적화의 수렴성 및 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 DP-SGD 알고리즘은 기존 연구에 비해 훨씬 감소된 경사 복잡도를 기반으로 하면서도 비볼록 ERM에서 가장 뛰어난 유효성 보장을 달성하며, Wang 등(2017)의 성능을 근사한다.
• 알고리즘은 뛰어난 학습 효율성을 보이며, 기존 차별적 비밀 보장 방법 대비 백엔드 및 실제 데이터셋에서 학습 시간을 크게 단축시킨다.
• 분산 환경에서 MPC 기반 확장이 중심 집중형 알고리즘과 동일한 비밀 보장과 유효성을 성공적으로 유지함으로써, 성능 손실 없이 강력한 비밀 보장을 유지할 수 있음을 입증한다.
• 경험적 결과는 동일한 비밀 보장 예산 하에서 명확한 유효성 향상을 보이며, 실질적인 비볼록 학습 시나리오에서의 효과성을 확인한다.
• 정밀한 비밀 분석 기법을 통해 더 엄밀한 비밀 회계를 가능하게 하여, 더 적극적인 노이즈 캘리브레이션과 함께 모델 성능 향상을 이룬다.
• 이 방법은 다양한 데이터셋과 아키텍처에서 강력한 비밀 보장과 유효성을 유지하면서도 대규모 비볼록 문제에 효과적으로 스케일링된다.