[논문 리뷰] Differentially Private SGD with Non-Smooth Losses

Puyu Wang, Yunwen Lei외 2명|arXiv (Cornell University)|2021. 01. 22.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 5

한 줄 요약

이 논문은 이전의 리프시츠 연속성과 강한 미분 가능성 가정을 완화하기 위해 $\alpha$-홀더 연속성 기반의 기울기로 비연속 볼록 손실 함수를 위한 차별적(private) 경사하강법(DP-SGD)을 제안한다. $(\epsilon,\delta)$-차별적 비밀유지 보장과 최적의 초과 위험 $\mathcal{O}\left(\frac{\sqrt{d\log(1/\delta)}}{n\epsilon} + \frac{1}{\sqrt{n}}\right)$ 및 기울기 복잡도 $\mathcal{O}(n^{2-\alpha\over 1+\alpha} + n)$를 확립하며, $\alpha \geq 1/2$일 경우 선형 복잡도와 최적의 유용성을 확보함을 보여준다.

ABSTRACT

In this paper, we are concerned with differentially private {stochastic gradient descent (SGD)} algorithms in the setting of stochastic convex optimization (SCO). Most of the existing work requires the loss to be Lipschitz continuous and strongly smooth, and the model parameter to be uniformly bounded. However, these assumptions are restrictive as many popular losses violate these conditions including the hinge loss for SVM, the absolute loss in robust regression, and even the least square loss in an unbounded domain. We significantly relax these restrictive assumptions and establish privacy and generalization (utility) guarantees for private SGD algorithms using output and gradient perturbations associated with non-smooth convex losses. Specifically, the loss function is relaxed to have an $α$-Hölder continuous gradient (referred to as $α$-Hölder smoothness) which instantiates the Lipschitz continuity ($α=0$) and the strong smoothness ($α=1$). We prove that noisy SGD with $α$-Hölder smooth losses using gradient perturbation can guarantee $(ε,δ)$-differential privacy (DP) and attain optimal excess population risk $\mathcal{O}\Big(\frac{\sqrt{d\log(1/δ)}}{nε}+\frac{1}{\sqrt{n}}\Big)$, up to logarithmic terms, with the gradient complexity $ \mathcal{O}( n^{2-α\over 1+α}+ n).$ This shows an important trade-off between $α$-Hölder smoothness of the loss and the computational complexity for private SGD with statistically optimal performance. In particular, our results indicate that $α$-Hölder smoothness with $α\ge {1/2}$ is sufficient to guarantee $(ε,δ)$-DP of noisy SGD algorithms while achieving optimal excess risk with the linear gradient complexity $\mathcal{O}(n).$

연구 동기 및 목표

• 기존 DP-SGD 방법에서의 제한적인 가정, 즉 손실 함수의 리프시츠 연속성과 강한 미분 가능성 가정을 완화하기 위해.
• 더 일반적인 $\alpha$-홀더 연속성 조건 하에서 DP-SGD의 비밀유지 및 일반화 보장을 수립하기 위해.
• 유계 및 비유계 매개변수 영역에서의 출력 노이즈 추가 및 기울기 노이즈 추가 메커니즘을 분석하기 위해.
• $\alpha$-홀더 연속성 하에서 최적의 초과 위험 및 기울기 복잡도 트레이드오프를 유도하기 위해.
• 특히 비연속 손실 함수에 대해 비유계 영역에서의 기울기 노이즈 추가에 대한 열린 문제를 해결하기 위해.

제안 방법

• 기울기가 $\alpha$-홀더 연속인 조건으로 리프시츠 연속성과 강한 미분 가능성 손실을 일반화한 $\alpha$-홀더 연속성 도입.
• 최종 모델 매개변수에 노이즈를 추가함으로써 출력 노이즈 추가를 적용하여 $(\epsilon,\delta)$-차별적 비밀유지를 달성.
• 최적화 과정 중 기울기에 노이즈를 추가함으로써 기울기 노이즈 추가를 적용하고, 비밀유지 보존 효과를 통해 비밀유지를 보장.
• 특히 기울기 노이즈 추가에 대해 더 날카로운 비밀유지 경계를 도출하기 위해 RDP(Rényi 차별적 비밀유지) 분석을 활용.
• 알고리즘 안정성 및 일반화 이론을 통해 초과 위험 경계를 도출하며, 비밀유지와 일반화 성능 간의 연관성을 연결.
• 유계 및 비유계 매개변수 영역 $\mathcal{W}$를 별도로 분석하며, 각 경우에 대해 별개의 위험 및 복잡도 결과 도출.

Figure 1 : The sufficient condition for the existence of $\beta$ in Lemma 13. The shaded area is the area where the sufficient condition in Lemma 13 holds true, i.e., $\epsilon\geq\big{(}7(n^{\frac{1}{3}}-1)+4\log(n)n+7\big{)}/\big{(}2n(n^{\frac{1}{3}}-1)\big{)}$ .

실험 결과

연구 질문

• RQ1 표준 리프시츠 연속성 및 강한 미분 가능성 가정을 위반하는 비연속 손실 함수에 대해 DP-SGD가 최적의 유용성을 달성할 수 있는가?
• RQ2 비밀유지에서의 기초 복잡도와 $\alpha$-홀더 연속성 간의 트레이드오프는 어떠한가?
• RQ3 기울기 노이즈 추가가 $\alpha \geq 1/2$ 조건에서 $\mathcal{O}(n)$ 기울기 복잡도로 최적의 초과 위험을 달성할 수 있는가?
• RQ4 비유계 매개변수 영역에서 $\alpha$-홀더 연속성 조건 하에서 DP-SGD의 비밀유지 및 일반화 보장은 어떠한가?
• RQ5 비유계 영역에서 기울기 노이즈 추가를 통해 최적의 초과 위험를 달성할 수 있는가, 만약 불가능하면 그 이유는 무엇인가?

주요 결과

• 유계 영역에서 $\alpha$-홀더 연속성 손실을 갖는 DP-SGD는 기울기 노이즈 추가를 통해 최적의 초과 위험 $\mathcal{O}\left(\frac{\sqrt{d\log(1/\delta)}}{n\epsilon} + \frac{1}{\sqrt{n}}\right)$를 달성한다.
• 기울기 복잡도는 $\mathcal{O}(n^{2-\alpha\over 1+\alpha} + n)$이며, $\alpha \geq 1/2$일 경우 $\mathcal{O}(n)$로 감소하여 뚜렷한 효율성 향상을 보인다.
• $\alpha \geq 1/2$ 조건에서 알고리즘은 $(\epsilon,\delta)$-DP와 최적의 초과 위험를 동시에 달성하며 선형 기울기 복잡도를 확보한다.
• 비유계 영역에서는 출력 노이즈 추가가 초과 위험 $\mathcal{O}\left(\frac{\sqrt{d\log(1/\delta)}\log(n/\delta)}{n^{\frac{2}{3+\alpha}}\epsilon} + \frac{\log(n/\delta)}{n^{\frac{1}{3+\alpha}}}\right)$를 제공하며, 이는 비유계 설정에서 최초의 결과이다.
• 논문은 $\alpha$-홀더 연속성 조건에서 $\alpha \geq 1/2$일 경우 비밀유지 및 최적의 유용성 확보에 충분함을 보여준다.
• 비유계 영역에서의 기울기 노이즈 추가에 대한 열린 문제는 여전히 해결되지 않아 향후 연구의 핵심 방향성을 드러낸다.