[논문 리뷰] Differentially Private Stochastic Optimization: New Results in Convex and Non-Convex Settings

Raef Bassily, Cristóbal Guzmán외 1명|University of Twente Research Information|2021. 07. 12.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 볼록 및 비볼록 설정에서 새로운 차별적(private) 확률적 최적화 알고리즘을 제안하며, 거의 선형 시간 복잡도와 향상된 초과 위험 경계를 달성한다. $\varepsilon$-차별적(private) $\varepsilon$-정류점(stationary points)에 대해 $\ell_1$-노름에서 매끄럽지 않은 손실에 대해 처음으로 거의 차원에 종속되지 않는 속도를 도입하였으며, $\ell_2$-노름 제약 조건 하에서 매끄럽지 않은 약한 볼록 최적화(non-smooth weakly convex optimization)에 대해 처음으로 선형 시간 알고리즘을 제공한다.

ABSTRACT

We study differentially private stochastic optimization in convex and non-convex settings. For the convex case, we focus on the family of non-smooth generalized linear losses (GLLs). Our algorithm for the $\ell_2$ setting achieves optimal excess population risk in near-linear time, while the best known differentially private algorithms for general convex losses run in super-linear time. Our algorithm for the $\ell_1$ setting has nearly-optimal excess population risk $ ilde{O}\big(\sqrt{\frac{\log{d}}{n\varepsilon}}\big)$, and circumvents the dimension dependent lower bound of \cite{Asi:2021} for general non-smooth convex losses. In the differentially private non-convex setting, we provide several new algorithms for approximating stationary points of the population risk. For the $\ell_1$-case with smooth losses and polyhedral constraint, we provide the first nearly dimension independent rate, $ ilde O\big(\frac{\log^{2/3}{d}}{(n\varepsilon)^{1/3}}\big)$ in linear time. For the constrained $\ell_2$-case with smooth losses, we obtain a linear-time algorithm with rate $ ilde O\big(\frac{1}{n^{1/3}}+\frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big)$. Finally, for the $\ell_2$-case we provide the first method for {\em non-smooth weakly convex} stochastic optimization with rate $ ilde O\big(\frac{1}{n^{1/4}}+\frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big)$ which matches the best existing non-private algorithm when $d= O(\sqrt{n})$. We also extend all our results above for the non-convex $\ell_2$ setting to the $\ell_p$ setting, where $1 < p \leq 2$, with only polylogarithmic (in the dimension) overhead in the rates.

연구 동기 및 목표

• 매끄럽지 않은 확률적 볼록 최적화를 위한 선형 시간 차별적(private) 알고리즘 부족 문제를 해결한다.
• 매끄럽지 않은 $\ell_1$-노름 설정에서 차원에 종속된 하한을 극복하여 거의 차원에 종속되지 않는 초과 위험를 달성한다.
• 매끄럽고 약한 볼록 손실을 갖는 차별적(private) 비볼록 최적화에 대해 처음으로 선형 시간 알고리즘을 개발한다.
• $1 \leq p \leq 2$ 인 일반적인 $\ell_p$-노름 설정으로 결과를 확장하며, 차원에 대해 다항로그(logarithmic) 수준의 추가 비용만 발생시킨다.
• 경험 위험 최소화(empirical risk minimization) 접근 방식의 한계를 피하기 위해 비볼록 설정에서 인구 수준(population-level) 보장을 제공한다.

제안 방법

• 차원의 안정성과 수렴 보장을 보장하기 위해 적응형 정규화와 반복 정밀화를 갖는 새로운 차별적(private) 프록시멀 경사수하법(gradient method)을 제안한다.
• 강한 볼록성과 프록시멀 매핑 기법을 사용하여 인구 위험(population risk)에서 거의 정류점에의 거리를 제한한다.
• 개인정보 예산과 수렴 속도를 균형 있게 유지하기 위해 정규화 매개변수와 스텝 크기의 철저히 설계된 시퀀스를 도입한다.
• 기울기 민감도에 비례하는 노이즈 스케일링을 갖는 가우시안 메커니즘(Gaussian mechanism)을 적용하여 $(\varepsilon,\delta)$-차별적(private) 보장을 확보한다.
• $p \approx 1$ 인 $\ell_p$-노름의 등가성(equivalence)을 활용하여 $\ell_1$에서 $\ell_p$로 결과를 확장하며, 다항로그 수준의 추가 비용만 발생시킨다.
• 다양한 반복 주기 동안의 순차적 평균화 기법을 사용하여 정류점으로의 기대 거리를 향상시킨다.

실험 결과

연구 질문

• RQ1 매끄럽지 않은 볼록 일반화 선형 손실에 대해 비볼록 일반화 선형 손실에 대해 거의 선형 시간 차별적(private) 확률적 최적화를 달성할 수 있는가?
• RQ2 매끄럽지 않은 $\ell_1$-노름 DP-SCO 설정에서 차원에 종속된 하한을 회피하면서도 최적의 초과 위험를 유지할 수 있는가?
• RQ3 $\ell_1$-노름 제약 조건 하에서 매끄러운 손실을 갖는 차별적(private) 비볼록 최적화에 대해 최적의 속도는 무엇인가?
• RQ4 $\ell_2$-노름 제약 조건 하에서 약한 볼록 손실을 갖는 차별적(private) 비볼록 최적화에 대해 선형 시간 알고리즘을 설계할 수 있는가?
• RQ5 $1 < p \leq 2$ 인 $\ell_p$-노름 설정에서의 속도는 $\ell_2$-노름 경우와 비교해 어떻게 스케일링되는가?

주요 결과

• 매끄럽지 않은 일반화 선형 손실에 대해 $\ell_2$-노름에서, 알고리즘은 거의 선형 시간 내에 최적의 초과 인구 위험 $O\big{(}\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\varepsilon}\big{)}$ 를 달성한다.
• $\ell_1$-노름에서, 알고리즘은 거의 차원에 종속되지 않는 초과 위험 $\tilde{O}\big{(}\sqrt{\frac{\log d}{n\varepsilon}}\big{)}$ 를 달성하며, 이는 이전 연구에서 제시된 $\Omega(\sqrt{d})$ 하한을 우회한다.
• 매끄럽지 않은 비볼록 손실에 대해 $\ell_1$-노름 제약 조건 하에서, 알고리즘은 선형 시간 내에 $\tilde{O}\big{(}\frac{\log^{2/3} d}{(n\varepsilon)^{1/3}}\big{)}$ 의 속도를 달성한다.
• 매끄럽지 않은 비볼록 손실에 대해 $\ell_2$-노름 제약 조건 하에서, 알고리즘은 선형 시간 내에 $\tilde{O}\big{(}\frac{1}{n^{1/3}} + \frac{d^{1/5}}{(n\varepsilon)^{2/5}}\big{)}$ 의 속도를 달성한다.
• 매끄럽지 않은 약한 볼록 손실에 대해 $\ell_2$-노름에서, 알고리즘은 $\tilde{O}\big{(}\frac{1}{n^{1/4}} + \frac{d^{1/6}}{(n\varepsilon)^{1/3}}\big{)}$ 의 속도를 달성하며, $d = O(\sqrt{n})$ 일 때 비차별적(private) 최소 최대율(minimax rate)과 일치한다.
• $\ell_2$-노름에 대한 모든 결과는 $1 < p \leq 2$ 인 $\ell_p$-노름으로 확장되며, 차원 $d$ 에 대해 다항로그 수준의 추가 비용만 발생시킨다.