[논문 리뷰] Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps

Janardhan Kulkarni, Yin Tat Lee외 1명|arXiv (Cornell University)|2021. 03. 29.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 6

한 줄 요약

이 논문은 비연속 미분 가능 함수에 대해 비차별적(private)인 비연속 미분 가능 Empirical Risk Minimization(ERM) 및 Stochastic Convex Optimization(SCO)에 대한 최초의 알고리즘을 제안하며, 이는 이차 이하의 기울기 복잡도를 갖는다. 하향 샘플링, Moreau-Yosida 스무딩, 그리고 모멘트 회계 기반의 새로운 비밀성 분석을 결합하여, $O(N^{3/2}/d^{1/8} + N^2/d)$ 기울기 질의로 최적의 초과 경험 위험을 달성함으로써, 비차별적 볼록 최적화 분야의 열린 문제를 해결한다.

ABSTRACT

We study the differentially private Empirical Risk Minimization (ERM) and Stochastic Convex Optimization (SCO) problems for non-smooth convex functions. We get a (nearly) optimal bound on the excess empirical risk and excess population loss with subquadratic gradient complexity. More precisely, our differentially private algorithm requires $O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$ gradient queries for optimal excess empirical risk, which is achieved with the help of subsampling and smoothing the function via convolution. This is the first subquadratic algorithm for the non-smooth case when $d$ is super constant. As a direct application, using the iterative localization approach of Feldman et al. \cite{fkt20}, we achieve the optimal excess population loss for stochastic convex optimization problem, with $O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$ gradient queries. Our work makes progress towards resolving a question raised by Bassily et al. \cite{bfgt20}, giving first algorithms for private ERM and SCO with subquadratic steps. We note that independently Asi et al. \cite{afkt21} gave other algorithms for private ERM and SCO with subquadratic steps.

연구 동기 및 목표

• 비연속 볼록 함수에 대한 비차별적 ERM 및 SCO의 기울기 복잡도 간 격차를 좁혀 이차 이하의 기울기 복잡도를 달성하기 위해.
• Bassily 등(2020)이 제기한, 비차별적 ERM 및 SCO가 이차 이하의 단계로 해결될 수 있는지 여부에 대한 열린 문제를 해결하기 위해.
• 비연속 볼록 함수에 대해 거의 최적의 초과 경험 위험과 인구 손실을 달성하는 비차별적 알고리즘을 개발하기 위해.
• Moreau-Yosida 스무딩의 계산 비효율성을 해결함으로써 이전의 비차별적 SGD 연구를 확장하기 위해.

제안 방법

• Moreau-Yosida 에너볼롭을 통해 비연속 볼록 함수를 스무딩하여 효율적인 비차별적 최적화를 가능하게 한다.
• 각 질의당 비밀성 예산 소모를 줄이기 위해 하향 샘플링과 기울기 클리핑을 적용한다.
• 강력한 복합 정리 대신 더 날카운트한 비밀성 분석을 위해 모멘트 회계 기법을 사용한다.
• 적응형 단계 크기와 노이즈 스케일링을 갖춘 비차별적 가속화된 확률적 알고리즘(Private AC-SA)을 설계한다.
• 반복적 국소화를 활용하여 비차별적 ERM 결과를 최적의 SCO 보장을 얻기 위해 변환한다.
• 하향 샘플링과 스무딩을 결합하여 비밀성과 유효성은 유지하면서 기울기 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 비연속 볼록 함수에 대해 비차별적 ERM를 이차 이하의 기울기 복잡도로 해결할 수 있는가?
• RQ2 비차별적 비연속 ERM에서 비밀성, 유효성, 기울기 복잡도 간 최적의 트레이드오프는 무엇인가?
• RQ3 Moreau-Yosida 스무딩 기법을 비차별적 환경에서 계산적으로 효율적으로 만들 수 있는가?
• RQ4 이차 이하의 단계로 비차별적 SCO에서 최적의 초과 인구 손실을 달성할 수 있는가?
• RQ5 하향 샘플링과 비밀성 회계는 비차별적 비연속 최적화의 효율성을 어떻게 향상시키는가?

주요 결과

• 제안된 알고리즘은 $O(N^{3/2}/d^{1/8} + N^2/d)$ 기울기 질의로 초과 경험 위험을 $O(GD(\frac{1}{\bar{N}} + \frac{\bar{d}\bar{\rho}}{\bar{N}^2\bar{\rho}}))$로 달성하며, 로그 인자 외에는 최적의 경계를 충족한다.
• 강한 볼록 함수의 경우, 동일한 기울기 복잡도로 초과 경험 위험 $O\left(\frac{G^2}{\mu}(\frac{1}{N} + \frac{d\log(1/\delta)}{\varepsilon^2 N^2})\right)$를 달성한다.
• SCO에 대해선 $O(\min\{N^{5/4}d^{1/8}, \frac{N^{3/2}}{d^{1/8}}\})$ 기울기 질의로 최적의 초과 인구 손실을 달성한다.
• 모멘트 회계의 사용은 강력한 복합 정리 대비 비밀성 손실의 과도한 증가를 줄여 더 날카운트한 경계를 가능하게 한다.
• 이 방법은 $d$가 초수상수(super-constant)일 때 비연속 비차별적 ERM 및 SCO에 대해 이차 이하의 기울기 복잡도를 달성하는 최초의 방법이다.
• Bassily 등(2020)이 제기한 비연속 함수에 대한 이차 이하의 비차별적 최적화 문제를 해결한다.