[논문 리뷰] Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$ Geometry

Hilal Asi, Vitaly Feldman외 2명|arXiv (Cornell University)|2021. 03. 02.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 5

한 줄 요약

이 논문은 $\sigma_1$-유계 영역에서의 미분적 비밀 보장 스토하스틱 볼록 최적화(DP-SCO)에 대해 최적의 초과 인구 손실 비율을 확립하며, 비밀 보장 정규화 미러 강하를 기반으로 한 새로운 반복적 국소화 알고리즘을 제안한다. 이 알고리즘은 $\widetilde{O}(\sqrt{\log d/n} + \sqrt{d}/(\varepsilon n))$ 오차를 달성한다. 부드러운 함수에 대해서는 $O(n)$ 기울기 쿼리와 $\widetilde{O}(\sqrt{\log d/n} + (\log d/(ε n))^{2/3})$ 오차를 갖는 분산 감소 프랭크-울프 알고리즘을 개발하여, $d \gg n$ 이며 $\varepsilon \geq n^{-1/4}$일 때 비밀 보장이 거의 비용이 들지 않는다는 것을 보여준다. 이 결과는 $\ell_1$ 기하학에서의 비밀 보장 최적화에 대한 오랫동안 남아 있던 격차를 메운다.

ABSTRACT

Stochastic convex optimization over an $\ell_1$-bounded domain is ubiquitous in machine learning applications such as LASSO but remains poorly understood when learning with differential privacy. We show that, up to logarithmic factors the optimal excess population loss of any $(\varepsilon,δ)$-differentially private optimizer is $\sqrt{\log(d)/n} + \sqrt{d}/\varepsilon n.$ The upper bound is based on a new algorithm that combines the iterative localization approach of~\citet{FeldmanKoTa20} with a new analysis of private regularized mirror descent. It applies to $\ell_p$ bounded domains for $p\in [1,2]$ and queries at most $n^{3/2}$ gradients improving over the best previously known algorithm for the $\ell_2$ case which needs $n^2$ gradients. Further, we show that when the loss functions satisfy additional smoothness assumptions, the excess loss is upper bounded (up to logarithmic factors) by $\sqrt{\log(d)/n} + (\log(d)/\varepsilon n)^{2/3}.$ This bound is achieved by a new variance-reduced version of the Frank-Wolfe algorithm that requires just a single pass over the data. We also show that the lower bound in this case is the minimum of the two rates mentioned above.

연구 동기 및 목표

• 이전 연구에서 부분 최적 비율을 달성한 바 있었던 $\ell_1$-유계 영역에서의 비밀 보장 스토하스틱 볼록 최적화(DP-SCO)에 대한 이해 격차를 해소하기 위해.
• $\ell_1$ 기하학에서 비밀 보장 알고리즘을 개발하여 비밀 보장 초과 인구 손실의 최적 비율을 달성하고, 비부드러운 함수와 부드러운 볼록 함수에 특히 초점을 맞추기 위해.
• 비부드러운 함수의 경우 기울기 쿼리를 $O(n^2)$에서 $O(n^{3/2})$로 줄이고, 부드러운 함수의 경우 $O(n)$으로 줄여 계산 효율성을 향상시키기 위해.
• 상한과 일치하는 날카운 하한을 확립하여 제안된 알고리즘의 최적성을 증명하기 위해.

제안 방법

• 비밀 보장 정규화 미러 강하와 새로운 분석 기법을 융합한 반복적 국소화 알고리즘을 제안하며, 이는 $\ell_1$ 기하학에 특화되어 있다.
• 부드러운 조건에서 선형 $O(n)$ 런타임과 최적 비율을 달성하는 분산 감소 비밀 보장 프랭크-울프 알고리즘을 도입한다.
• $\ell_p$-유계 영역($p \in [1,2]$)에 대해 반복적 국소화 프레임워크를 적용하여 $\ell_1$을 초월한 일반화를 이루었다.
• 초과 경험 손실에 대한 하한을 초과 인구 손실에 대한 하한으로 변환하기 위해 후처리 기법을 사용한다.
• $\ell_1$ 공간에서의 평균 추정 문제로부터 인구 손실 하한을 유도하기 위해 부트스트랩 기법을 활용한다.
• 집중 및 민감도 경계를 통해 비밀 보장($\varepsilon, \delta$), 차원 $d$, 표본 크기 $n$ 간의 상호 작용을 분석한다.

실험 결과

연구 질문

• RQ1 비밀 보장 스토하스틱 볼록 최적화의 $\ell_1$-유계 영역에서 최적의 초과 인구 손실 비율은 무엇인가?
• RQ2 손실 함수가 부드러울 경우, 특히 $\ell_1$ 기하학에서 비밀 보장 최적화가 비비밀 보장 최적 비율에 도달할 수 있는가?
• RQ3 $\ell_1$-기하학에서 부드러운 함수에 대해 $O(n)$ 기울기 쿼리만을 사용하는 비밀 보장 알고리즘을 설계할 수 있는가? 이는 이전의 $O(n^2)$ 방법보다 개선된 것이다.
• RQ4 비밀 보장 하에 $\ell_1$ 기하학에서의 초과 인구 손실에 대해 가장 날카운 가능한 하한은 무엇인가?
• RQ5 제약 집합의 기하학(예: $\ell_1$ 대비 $\ell_2$)은 비밀 보장, 정확도, 계산 비용 간의 상호 작용에 어떤 영향을 미치는가?

주요 결과

• 비부드러운 함수에 대해 $\ell_1$-유계 영역에서 최적의 초과 인구 손실은 $\widetilde{O}(\sqrt{\log d/n} + \sqrt{d}/(\varepsilon n))$이며, 로그 요소를 제외한 하한과 일치한다.
• 부드러운 함수의 경우 최적의 초과 손실은 $\widetilde{O}(\sqrt{\log d/n} + (\log d/(ε n))^{2/3})$이며, 이는 새로운 분산 감소 프랭크-울프 알고리즘에 의해 달성된다.
• 제안된 프랭크-울프 알고리즘은 선형 시간($O(n)$)에 실행되며, 기울기 쿼리 수가 오직 $O(n)$에 불과하여 이전의 $O(n^2)$ 방법에 비해 크게 향상되었다.
• 하한과 상한이 일치한다: 비부드러운 함수에 대해 $\Omega(\sqrt{d}/(n\varepsilon))$, 부드러운 함수에 대해 $\Omega((\log d/(n\varepsilon))^{2/3})$이며, 이는 알고리즘의 최적성을 증명한다.
• $\ell_p$-유계 영역($p \in [1,2]$)으로도 결과를 확장하여, $\ell_1$ 기하학이 이전에 알려진 것보다 더 좋은 비율을 가능하게 한다는 것을 보여준다.
• 고차원 환경($d \gg n$ 이며 $\varepsilon \geq n^{-1/4}$)에서 비밀 보장은 초과 손실에 거의 영향을 주지 않으며, 비밀 보장 최적화가 비비밀 보장 최적화와 거의 동일한 효율성을 갖는다.