[논문 리뷰] Private Convex Optimization via Exponential Mechanism

Sivakanth Gopi, Yin Tat Lee외 1명|arXiv (Cornell University)|2022. 03. 01.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 $(\varepsilon,\delta)$-차별적 비밀보장 하에서 최적의 초과 경험 및 인구 위험을 달성하는 비밀보장된 볼록 최적화를 위한 정규화된 지수 기반 기법을 제안한다. $\ell_2^2$ 정규화를 추가하고 강력한 로그볼록분포에서 샘플링을 통해, $\widetilde{O}(n\min(d,n))$개의 함수 쿼리로 효율적인 최적화를 가능하게 한다. 이는 거의 날것의 하한선과 일치한다.

ABSTRACT

In this paper, we study private optimization problems for non-smooth convex functions $F(x)=\mathbb{E}_i f_i(x)$ on $\mathbb{R}^d$. We show that modifying the exponential mechanism by adding an $\ell_2^2$ regularizer to $F(x)$ and sampling from $π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$ recovers both the known optimal empirical risk and population loss under $(ε,δ)$-DP. Furthermore, we show how to implement this mechanism using $\widetilde{O}(n \min(d, n))$ queries to $f_i(x)$ for the DP-SCO where $n$ is the number of samples/users and $d$ is the ambient dimension. We also give a (nearly) matching lower bound $\widetildeΩ(n \min(d, n))$ on the number of evaluation queries. Our results utilize the following tools that are of independent interest: (1) We prove Gaussian Differential Privacy (GDP) of the exponential mechanism if the loss function is strongly convex and the perturbation is Lipschitz. Our privacy bound is \emph{optimal} as it includes the privacy of Gaussian mechanism as a special case and is proved using the isoperimetric inequality for strongly log-concave measures. (2) We show how to sample from $\exp(-F(x)-μ\|x\|^2_2/2)$ for $G$-Lipschitz $F$ with $η$ error in total variation (TV) distance using $\widetilde{O}((G^2/μ) \log^2(d/η))$ unbiased queries to $F(x)$. This is the first sampler whose query complexity has \emph{polylogarithmic dependence} on both dimension $d$ and accuracy $η$.

연구 동기 및 목표

• 비연속 볼록 함수 $F(x) = \mathbb{E}_i f_i(x)$에 대해 $(\varepsilon,\delta)$-차별적 비밀보장 하에서 최적의 유용성을 달성하는 차별적 비밀보장 최적화 프레임워크를 개발하는 것.
• 정규화된 변형을 도입하여, 비밀보장 볼록 최적화에서 지수 기반 기법과 노이즈가 있는 기울기 하강법 간의 쿼리 복잡도 격차를 해소하는 것.
• 비밀보장 최적화에 필요한 함수 쿼리 수에 대한 날것의 상한 및 하한을 확립하여, 거의 최적의 효율성을 달성하는 것.
• 차원 $d$와 정확도 $\eta$에 대해 다항로그적 의존도를 가지는 새로운 샘플링 알고리즘을 개발하여, 정규화된 기반 기법의 효율적 구현을 가능하게 하는 것.

제안 방법

• 지수 기반 기법에 $\ell_2^2$ 정규화를 추가하여, $\pi(x) \propto \exp(-k(F(x) + \mu\|x\|_2^2/2))$에서 샘플링을 통해 강력한 볼록성과 향상된 비밀보장 보장을 확보하는 방법.
• 강력한 볼록성과 리프시츠 변형에 기반하여, 정규화된 기반 기법에 대해 가우시안 차별적 비밀보장(GDP)을 증명하며, 강력한 로그볼록측정에 대한 등면적 부등식을 사용한다.
• $F(x)$에 대한 비편향 쿼리 $\widetilde{O}((G^2/\mu)\log^2(d/\eta))$를 사용하여 총 변동 거리에서 $\eta$-정확도를 달성하는 새로운 샘플링 알고리즘을 도입하며, $d$와 $\eta$에 대해 다항로그적 의존도를 가진다.
• 프레임워크는 $(\varepsilon,0)$-DP 하에서 최적의 초과 경험 위험 $O(GDd/(n\varepsilon))$를 달성하며, $(\varepsilon,\delta)$-DP 하에서는 $O(GD\sqrt{d\log(1/\delta)}/(n\varepsilon))$를 달성하며, 알려진 하한선과 일치한다.
• 함수 평가 수에 대한 거의 날것의 하한선인 $\widetilde{\Omega}(n\min(d,n))$를 확립하여, 이 방법이 함수 평가 측면에서 거의 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 지수 기반 기법을 정규화하여 비연속 비밀보장 볼록 최적화에서 최적의 비밀보장-유용성 트레이드오프를 달성할 수 있는가?
• RQ2 차별적 비밀보장 하에서 정규화된 지수 기반 기법에서 샘플링을 위한 최적의 쿼리 복잡도는 무엇인가?
• RQ3 $G$-리프시츠 볼록 함수에 대해, 차원 $d$와 정확도 $\eta$에 대해 다항로그적 쿼리 복잡도를 가지는 샘플링 알고리즘을 설계할 수 있는가?
• RQ4 정규화된 지수 기반 기법은 $(\varepsilon,\delta)$-DP 하에서 최적의 경험 위험과 인구 위험을 동시에 달성하는가?
• RQ5 비밀보장 볼록 최적화에 필요한 함수 쿼리 수에 대한 정보이론적 하한선은 무엇인가?

주요 결과

• 정규화된 지수 기반 기법은 $(\varepsilon,0)$-DP 하에서 최적의 초과 경험 위험 $O(GDd/(n\varepsilon))$를 달성하며, 기존에 알려진 최고의 상한선과 일치한다.
• $(\varepsilon,\delta)$-DP 하에서는 초과 인구 위험 $O(GD\sqrt{d\log(1/\delta)}/(n\varepsilon))$를 달성하며, 이는 최적이며 노이즈가 있는 기울기 하강법의 성능과 일치한다.
• 제안된 샘플링 알고리즘은 $\eta$-정확도를 총 변동 거리에서 $\widetilde{O}((G^2/\mu)\log^2(d/\eta))$개의 쿼리를 사용하여 달성하며, $d$와 $\eta$에 대해 다항로그적 의존도를 가지며, 이는 이전 방법에 비해 상당한 향상이다.
• 이 방법의 쿼리 복잡도는 $\widetilde{O}(n\min(d,n))$이며, 함수 평가 수에 대한 거의 날것의 하한선 $\widetilde{\Omega}(n\min(d,n))$와 일치한다.
• 기존의 거의 일치하는 하한선 $\widetilde{\Omega}(n\min(d,n))$를 확립하여, 이 방법의 효율성이 쿼리 복잡도 측면에서 거의 최적임을 보여준다.