[논문 리뷰] Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds

Yingxue Zhou, Xiangyi Chen외 3명|arXiv (Cornell University)|2020. 06. 24.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 8

한 줄 요약

이 논문은 차별적 비밀유지(stochastic non-convex optimization)를 위한 차별적 비밀유지 적응형 최적화 알고리즘인 DP RMSProp와 DP Adam을 제안하며, 일반화 성질을 활용하여 기존의 균일 수렴에서 유도된 하위최적의 $O(\sqrt{p}/\sqrt{n})$ 경계를 회피하고, $\tilde{O}(\sqrt[4]{p}/\sqrt{n})$의 더 날카운 경계를 달성한다. 이는 차별적 비밀유지의 일반화 성질을 활용하여 반복 단계에서 일반화 오차를 제한하기 위해 개인정보 유도 기반의 기울기 근사법을 사용한다. 이는 딥러닝 작업에서 DP SGD보다 실증적으로 뛰어난 성능을 보인다.

ABSTRACT

We study differentially private (DP) algorithms for stochastic non-convex optimization. In this problem, the goal is to minimize the population loss over a $p$-dimensional space given $n$ i.i.d. samples drawn from a distribution. We improve upon the population gradient bound of ${\sqrt{p}}/{\sqrt{n}}$ from prior work and obtain a sharper rate of $\sqrt[4]{p}/\sqrt{n}$. We obtain this rate by providing the first analyses on a collection of private gradient-based methods, including adaptive algorithms DP RMSProp and DP Adam. Our proof technique leverages the connection between differential privacy and adaptive data analysis to bound gradient estimation error at every iterate, which circumvents the worse generalization bound from the standard uniform convergence argument. Finally, we evaluate the proposed algorithms on two popular deep learning tasks and demonstrate the empirical advantages of DP adaptive gradient methods over standard DP SGD.

연구 동기 및 목표

• 균일 수렴에서 유도된 $O(\sqrt{p}/\sqrt{n})$ 비율을 넘어서, 차별적 비밀유지 스토하스틱 비볼록 최적화에서 일반화 경계를 향상시키는 것.
• 딥러닝에서 널리 사용되는 적응형 기울기 방법인 DP RMSProp 및 DP Adam과 같은 차별적 비밀유지 최적화를 확장하는 것.
• 균일 수렴에 의존하지 않고, 차별적 비밀유지의 일반화 성질을 활용하여 더 날카운 인구 위험 경계를 수립하는 것.
• 적응형 기울기 방법의 DP 변종에 대한 최초의 경험적 위험 분석을 제공하는 것.
• 실제 딥러닝 작업에서 표준 DP SGD와 비교하여 DP 적응형 방법의 성능을 실증적으로 검증하는 것.

제안 방법

• 차별적 비밀유지를 유지하면서 기울기에 노이즈를 주입하여 RMSProp 및 Adam의 DP 변종을 제안한다.
• 각 반복 단계에서 경험적 기울기와 인구 기울기 사이의 격차를 제한하기 위해, 차별적 비밀유지와 적응형 데이터 분석을 연결하는 새로운 증명 기법을 사용한다.
• 차별적 비밀유지 제약 조건 하에서 기울기 추정 오차를 제어하기 위해 개인정보 약화 및 농도 불등식을 적용한다.
• 개인정보 유도 일반화를 사용하여 인구 기울기의 $\ell_2$-노름에 대한 고확률 경계를 유도한다.
• 노이즈 스케일링, 스텝 사이즈 스케줄링 및 적응형 모멘텀 추정을 조합하여 개인정보 제약 조건 하에서 학습을 안정화한다.
• 이미지 분류 및 기타 딥러닝 작업에서의 실험을 통해 이론적 경계를 검증한다.

실험 결과

연구 질문

• RQ1 DP Adam 및 DP RMSProp와 같은 차별적 비밀유지 적응형 기울기 방법이 비볼록 최적화에서 표준 DP SGD보다 더 날카운 일반화 경계를 달성할 수 있는가?
• RQ2 표준 균일 수렴 추론이 DP 비볼록 최적화에서 더 날카운 인구 위험 경계를 달성하는 데 있어 한계를 초래하는가?
• RQ3 차별적 비밀유지 자체의 일반화 성질을 활용하여 $O(\sqrt{p}/\sqrt{n})$보다 더 날카운 기울기 노름 경계를 도출할 수 있는가?
• RQ4 적응형 DP 최적화에서 비밀유지 예산, 모델 차원 및 일반화 오차 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 실제 세계의 딥러닝 벤치마크에서 DP 적응형 방법이 DP SGD를 초월하는가?

주요 결과

• 논문은 기존 균일 수렴에서 도출된 $O(\sqrt{p}/\sqrt{n})$ 경계를 넘어서, $\tilde{O}(\sqrt[4]{p}/\sqrt{n})$의 더 날카운 인구 기울기 경계를 달성하였다.
• 개선된 경계는 균일 수렴의 최악의 경우 분석을 피하기 위해 차별적 비밀유지의 일반화 성질을 직접 분석함으로써 달성되었다.
• 저자들은 RMSProp 및 Adam의 DP 변종에 대한 최초의 이론적 분석을 제공하여, 작은 경험적 기울기 노름으로 수렴하는 것을 보였다.
• 하한선이 도출되어, 균일 수렴에서 유도된 $\sqrt{p}/\sqrt{n}$ 비율이 날카로운 것을 증명함으로써, 향상된 성능을 달성하기 위해서는 이 추론 방식을 우회해야 한다는 점을 입증하였다.
• 딥러닝 작업에서의 실증 평가 결과, 동일한 비밀유지 예산 하에서 DP Adam 및 DP RMSProp가 표준 DP SGD를 능가하는 모델 정확도를 보였다.
• 이론적 및 실증적 결과를 종합하면, 적응형 DP 방법이 비볼록 환경에서 더 나은 유틸리티-비밀유지 트레이드오프를 달성할 수 있음을 보여준다.