[논문 리뷰] High Dimensional Differentially Private Stochastic Optimization with Heavy-tailed Data

Lijie Hu, Shuo Ni외 2명|arXiv (Cornell University)|2021. 07. 23.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 고차원 공간에서 첨가적 분포를 가진 데이터를 가진 비밀 보장 확률적 볼록 최적화(DP-SCO)에 대한 최초의 종합적 연구를 제시한다. 이는 $ ilde{O}(\frac{\log d}{(n\epsilon)^{1/3}})$의 초과 위험 한계를 $ϵ$-DP 하에서, 그리고 $\tilde{O}(\frac{s^{*2}\log^2 d}{n\epsilon})$의 초과 위험 한계를 희소 학습에서, 데이터 분포에 대한 약한 모멘트 조건 하에서 달성하는 절단된 DP-IHT 및 기타 방법을 제안한다.

ABSTRACT

As one of the most fundamental problems in machine learning, statistics and differential privacy, Differentially Private Stochastic Convex Optimization (DP-SCO) has been extensively studied in recent years. However, most of the previous work can only handle either regular data distribution or irregular data in the low dimensional space case. To better understand the challenges arising from irregular data distribution, in this paper we provide the first study on the problem of DP-SCO with heavy-tailed data in the high dimensional space. In the first part we focus on the problem over some polytope constraint (such as the $\ell_1$-norm ball). We show that if the loss function is smooth and its gradient has bounded second order moment, it is possible to get a (high probability) error bound (excess population risk) of $ ilde{O}(\frac{\log d}{(nε)^\frac{1}{3}})$ in the $ε$-DP model, where $n$ is the sample size and $d$ is the dimensionality of the underlying space. Next, for LASSO, if the data distribution that has bounded fourth-order moments, we improve the bound to $ ilde{O}(\frac{\log d}{(nε)^\frac{2}{5}})$ in the $(ε, δ)$-DP model. In the second part of the paper, we study sparse learning with heavy-tailed data. We first revisit the sparse linear model and propose a truncated DP-IHT method whose output could achieve an error of $ ilde{O}(\frac{s^{*2}\log d}{nε})$, where $s^*$ is the sparsity of the underlying parameter. Then we study a more general problem over the sparsity ({\em i.e.,} $\ell_0$-norm) constraint, and show that it is possible to achieve an error of $ ilde{O}(\frac{s^{*\frac{3}{2}}\log d}{nε})$, which is also near optimal up to a factor of $ ilde{O}{(\sqrt{s^*})}$, if the loss function is smooth and strongly convex.

연구 동기 및 목표

• 고차원 설정에서 데이터 분포가 첨가적일 경우 비밀 보장 확률적 볼록 최적화(DP-SCO)에 대한 이론적 이해 부족을 해결하기 위해.
• 첨가적 분포에서 유도되는 무한한 기울기 값을 다룰 수 있는 비밀 보장 및 강건한 최적화 방법을 개발하기 위해.
• 서브-가우시안 또는 유계 조건이 아닌, 모멘트 조건(예: 둘째 또는 넷째 순서 모멘트 유계)만을 가정하여, 다각형 및 희소성 제약 조건 하에서 DP-SCO의 초과 인구 위험 한계를 수립하기 위해.
• 희소 고차원 설정에서의 수렴을 유지하면서도 비밀 보장을 보장하는 절단된 DP-반복 경하 임계화(DP-IHT) 방법을 설계하기 위해.

제안 방법

• 기울기 절단을 적용하여 첨가적 기울기를 관리하고 비밀 보장을 보장하는 반복 경하 임계화를 사용하는 절단된 DP-IHT 알고리즘을 제안한다.
• 기울기 절단을 통해 기울기 민감도를 제한하고, 제2순서 모멘트 가정만으로도 라플라스 메커니즘을 적용하여 비밀 보장을 확보한다.
• 강한 볼록성, 미끄러움, 그리고 모멘트 조건을 결합한 새로운 분석 프레임워크를 적용하여 고확률 초과 위험 한계를 도출한다.
• 유도된 한계의 근사 최적성까지 로그 및 $\sqrt{s^*}$ 요소를 제외하고 확인하기 위해 새로운 하드 인스턴스 구성 기법을 도입한다.
• 두 단계 분석을 수행한다: 첫째, 강한 볼록성과 미끄러움을 이용해 반복 단계별 오차 한계를 유도한다; 둘째, 반복 수에 따른 기하급수 감소를 통해 총 오차를 제한한다.
• 고차원 및 희소 설정에서 비밀 노이즈의 영향을 제어하기 위해 라플라스 노이즈의 농도 불등식과 尾부 경계를 활용하여 수렴에 영향을 미치는 것을 관리한다.

실험 결과

연구 질문

• RQ1 고차원 공간에서 데이터가 첨가적일 경우 비밀 보장 확률적 볼록 최적화(DP-SCO)의 기본 통계적 한계는 무엇인가?
• RQ2 첨가적 분포에서 기인하는 무한한 기울기 값을 다룰 수 있는 비밀 보장 최적화 알고리즘을 설계할 수 있는가?
• RQ3 다각형 및 희소성 제약 조건 하에서 첨가적 분포 데이터를 가진 DP-SCO에 대해 $\epsilon$-DP 및 $(\epsilon,\delta)$-DP 하에서 달성 가능한 초과 위험 한계는 무엇인가?
• RQ4 진짜 매개변수의 희소성($s^*$)은 고차원 DP-SCO에서 수렴 속도와 비밀-유용성 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 다각형 제약 조건 하에서, 기울기의 미끄러움과 제2순서 모멘트 유계 조건이 만족될 경우, $\epsilon$-DP 모델 하에서 고확률적으로 초과 위험은 $\tilde{O}(\frac{\log d}{(n\epsilon)^{1/3}})$이다.
• 제4순서 모멘트 유계 조건이 만족되는 LASSO의 경우, $(\epsilon,\delta)$-DP 모델 하에서 초과 위험은 $\tilde{O}(\frac{\log d}{(n\epsilon)^{2/5}})$로 향상된다.
• 희소 선형 회귀의 경우, 제안된 절단된 DP-IHT 방법은 $(\epsilon,\delta)$-DP 하에서 초과 위험 $\tilde{O}(\frac{s^{*2}\log^2 d}{n\epsilon})$를 달성한다.
• 일반적인 매끄럽고 강한 볼록 DP-SCO에 대해 $\ell_0$-노름 희소성 제약 조건이 적용될 경우, 초과 위험은 $\tilde{O}(\frac{s^{*3/2}\log d}{n\epsilon})$이며, $\tilde{O}(\sqrt{s^*})$ 요소를 제외하고는 근사 최적이다.
• 합성 및 실세계 데이터셋에 대한 실험을 통해 이론적 한계가 첨가적 분포 데이터 하에서도 일관된 성능을 보임을 확인하였다.
• 논문은 첨가적 분포 데이터에 대한 비밀 학습에서 모멘트 기반 가정(예: 제2 또는 제4순서 모멘트 유계)이 서브-가우시안 또는 유계 조건을 제거함으로써 충분함을 수립하였다.