[논문 리뷰] Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent

Shuang Song, Thomas Steinke외 2명|arXiv (Cornell University)|2020. 06. 11.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 8

한 줄 요약

이 논문은 비제약 일반선형모형(GLM)에 대해 미분적(privately) 보장된 경사하강법(DP-GD)을 제안하며, 모델 차원 $p$에 관계없이 $Ϫ ilde{O}(√{\text{rank}}/(ε n))$의 초과 경험 위험을 달성한다. 핵심 기여는 유한한 차원에 의존하지 않는 경계를 제시하여 차원의 극복을 피하는 것으로, 새로운 하한을 통해 그 타당성을 입증하며, 비볼록 GLM 및 실용적인 클리핑된 DP-GD 변형으로의 확장도 가능하다.

ABSTRACT

We revisit the well-studied problem of differentially private empirical risk minimization (ERM). We show that for unconstrained convex generalized linear models (GLMs), one can obtain an excess empirical risk of $ ilde O\left(\sqrt{ exttt{rank}}/εn ight)$, where ${ exttt{rank}}$ is the rank of the feature matrix in the GLM problem, $n$ is the number of data samples, and $ε$ is the privacy parameter. This bound is attained via differentially private gradient descent (DP-GD). Furthermore, via the first lower bound for unconstrained private ERM, we show that our upper bound is tight. In sharp contrast to the constrained ERM setting, there is no dependence on the dimensionality of the ambient model space ($p$). (Notice that ${ exttt{rank}}\leq \min\{n, p\}$.) Besides, we obtain an analogous excess population risk bound which depends on ${ exttt{rank}}$ instead of $p$. For the smooth non-convex GLM setting (i.e., where the objective function is non-convex but preserves the GLM structure), we further show that DP-GD attains a dimension-independent convergence of $ ilde O\left(\sqrt{ exttt{rank}}/εn ight)$ to a first-order-stationary-point of the underlying objective. Finally, we show that for convex GLMs, a variant of DP-GD commonly used in practice (which involves clipping the individual gradients) also exhibits the same dimension-independent convergence to the minimum of a well-defined objective. To that end, we provide a structural lemma that characterizes the effect of clipping on the optimization profile of DP-GD.

연구 동기 및 목표

• 비제약 미분적 경험 위험 최소화(DP-ERM)에 대한 이론적 이해의 격차, 특히 일반선형모형(GLM)에 대해 해결하고자 한다.
• 초과 위험이 특성 행렬의 질량(rank)에 의존하고 모델의 임베딩 차원 $p$에 의존하지 않는다는 점을 통해, 사전에 예측할 수 없는 차원의 극복 문제를 해결한다.
• 비제약 사전 ERM에 대해 처음으로 엄밀한 하한을 설정하여 제안된 상한의 최적성을 입증한다.
• 비볼록 GLM 환경으로의 차원에 의존하지 않는 수렴 성질을 확장하여, 일阶 정류점(first-order stationary points)으로의 수렴을 보여준다.
• 실용적인 클리핑된 DP-GD 변형의 강건성을 분석하여, 볼록 GLM 환경에서도 동일한 차원에 의존하지 않는 위험 경계를 달성함을 보여준다.

제안 방법

• 비제약 GLM에 대한 핵심 최적화 방법으로, 노이즈 주입을 통해 $\varepsilon$-미분적 보장을 확보하는, 비밀보장된 경사하강법(DP-GD)을 제안한다.
• 피어프린팅 코드(fingerprinting codes)를 활용해, 비제약 DP-ERM에 대한 초과 경험 위험의 새로운 하한을 유도하며, 상한의 타당성을 입증한다.
• 경사 클리핑이 DP-GD의 최적화 프로파일에 미치는 영향을 기술하는 구조적 보조정리를 제안함으로써, 실용적 구현의 분석을 가능하게 한다.
• 부드러운 비볼록 GLM 환경에서 DP-GD의 수렴을 분석하여, 차원에 의존하지 않는 수렴 속도를 보여준다.
• GLM의 구조를 유지하는 클리핑된 목적함수 $\mathcal{L}^{(B)}_{\text{clipped}}$를 정의하고, 클리핑된 DP-GD가 이 목적함수의 최소값으로 동일한 속도로 수렴함을 보여준다.
• Rényi 미분적 보장(RDP)과 샘플링에 의한 보안 약화(privacy amplification)를 활용하여, DP-GD의 스트로스틱 변형에서의 보안 예산을 고려한다.

실험 결과

연구 질문

• RQ1 비제약 사전 GLM 학습에서 초과 경험 위험을 환경 차원 $p$에 관계없이 독립적으로 만들 수 있는가?
• RQ2 제안된 $\widetilde{O}(\sqrt{\text{rank}}/(ε n))$ 상한이 초과 위험에 대해 타당한가? 그리고 비제약 설정에서의 기본 한계는 무엇인가?
• RQ3 미분적 경사하강법(DP-GD)은 비볼록 GLM 환경에서도 차원에 의존하지 않는 수렴 성질을 유지하는가?
• RQ4 경사 클리핑은 실용적 사전 GLM 학습에서 최적화 행동과 보안-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ5 클리핑된 DP-GD에 대해, 원래의 비클리핑 케이스와 동일한 수렴 성질을 가지는 잘 정의된 목적함수를 구성할 수 있는가?

주요 결과

• 비제약 볼록 GLM에 대한 DP-GD의 초과 경험 위험은 모델의 임베딩 차원 $p$에 관계없이 $\widetilde{O}(\sqrt{\text{rank}}/(ε n))$이며, 여기서 $\text{rank}$는 특성 행렬의 질량이다.
• 이 상한은 새로운 비제약 사전 ERM에 대한 하한을 통해 타당함을 입증되었으며, 기본 한계로 $\Omega(\sqrt{\text{rank}}/(ε n))$가 존재함을 보여준다.
• 부드러운 비볼록 GLM의 경우, DP-GD는 일阶 정류점으로 $\widetilde{O}(\sqrt{\text{rank}}/(ε n))$의 속도로 수렴하며, 이 역시 $p$에 관계없이 유지된다.
• 경사 클리핑을 사용하는 DP-GD의 변형은 잘 정의된 클리핑된 목적함수 $\mathcal{L}^{(B)}_{\text{clipped}}$의 최소값으로 동일한 차원에 의존하지 않는 수렴 속도로 수렴한다.
• 구조적 보조정리는 클리핑 노름 $B$가 적절히 선택된다면 클리핑이 수렴 속도를 떨어뜨리지 않음을 보여주며, GLM의 구조를 유지한다.
• Cod-RNA 데이터셋에 대한 실험 결과, 다양한 입력 차원에서도 높은 테스트 정확도를 유지함으로써, 차원에 의존하지 않는 성능의 타당성을 검증한다.