[논문 리뷰] DP-PCA: Statistically Optimal and Differentially Private PCA

Xiyang Liu, Weihao Kong외 2명|arXiv (Cornell University)|2022. 05. 27.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

DP-PCA는 사전에 미니배치 경사상승법과 분산 적응형 비공개 평균 추정을 조합하여 통계적으로 최적의 오차율을 달성하는 비공개 주성분 분석 알고리즘을 제안한다. 이는 하위가우시안 데이터에 대해 $\tilde{O}(\sqrt{d/n} + d/(\texttt{celsius} n))$의 오차 한계를 확보하며, 비밀성 비용에 대한 정보 이론적 하한선과 일치한다. 이는 이전 방법이 필요로 하는 $n = \Omega(d^{3/2})$보다 훨씬 낮은 $n = \tilde{O}(d)$의 샘플 수로도 성능을 달성할 수 있음을 의미한다.

ABSTRACT

We study the canonical statistical task of computing the principal component from $n$ i.i.d.~data in $d$ dimensions under $(\varepsilon,δ)$-differential privacy. Although extensively studied in literature, existing solutions fall short on two key aspects: ($i$) even for Gaussian data, existing private algorithms require the number of samples $n$ to scale super-linearly with $d$, i.e., $n=Ω(d^{3/2})$, to obtain non-trivial results while non-private PCA requires only $n=O(d)$, and ($ii$) existing techniques suffer from a non-vanishing error even when the randomness in each data point is arbitrarily small. We propose DP-PCA, which is a single-pass algorithm that overcomes both limitations. It is based on a private minibatch gradient ascent method that relies on {\em private mean estimation}, which adds minimal noise required to ensure privacy by adapting to the variance of a given minibatch of gradients. For sub-Gaussian data, we provide nearly optimal statistical error rates even for $n= ilde O(d)$. Furthermore, we provide a lower bound showing that sub-Gaussian style assumption is necessary in obtaining the optimal error rate.

연구 동기 및 목표

• ($\varepsilon,\delta$)-비밀성 보장 하에 최적의 통계적 오차율을 달성하는 비공개 주성분 분석 알고리즘을 설계하는 것.
• 기존 비공개 주성분 분석 방법이 요구하는 초선형 샘플 복잡도 $n = \Omega(d^{3/2})$를 해결하여, 비공개 주성분 분석의 $n = O(d)$와 유사한 효율성을 달성하는 것.
• 낮은 데이터 노이즈 환경에서의 비소멸 오차 문제를 해결하여, 기존 비공개 주성분 분석 알고리즘에서 발생하는 비소멸 오차 문제를 제거하는 것.
• 하위가우시안 尾 조건이 비공개 주성분 분석에서 최적의 오차율을 달성하기 위해 정보 이론적으로 필수적임을 입증하는 것.

제안 방법

• DP-PCA는 주성분을 추정하기 위해 단일 패assing 비공개 미니배치 경사상승 알고리즘을 사용한다.
• 각 미니배치의 기울기 분산에 비례하는 노이즈를 적응적으로 추가하기 위해 비공개 평균 추정을 적용하여 비밀성 오버헤드를 최소화한다.
• 기울기 노름 클리핑 대신 분산 적응형 노이즈 추가를 도입함으로써, 낮은 노이즈 환경에서 오차를 감소시킨다.
• 반복 횟수를 줄이기 위해 미니배치 SGD를 활용하며, 샘플링에 의한 약화 효과에 의존하지 않는다.
• 알고리즘은 하중의 경향이 가벼운 꼬리 분포를 가진 하위가우시안 유사 분포를 정의하는 가정 1 하에 분석된다.
• 이론적 보장을 위해 농도 부등식과 비공개 경험 분포 추정에 대한 Dvoretzky-Kiefer-Wolfowitz 유형의 경계를 사용한다.

실험 결과

연구 질문

• RQ1 비공개 주성분 분석 알고리즘이 비공개 조건 하에 비공개 최적의 $\tilde{\Theta}(\sqrt{d/n})$ 오차율을 달성할 수 있는가?
• RQ2 하위가우시안 데이터에 대해 비공개 주성분 분석의 샘플 복잡도를 $n = \Omega(d^{3/2})$에서 $n = \tilde{O}(d)$로 줄일 수 있는가?
• RQ3 데이터 노이즈가 0에 수렴함에 따라 비밀성 비용을 데이터 노이즈와 분리시킬 수 있는가? 즉, 오차가 사라지는가?
• RQ4 비공개 주성분 분석에서 최적의 오차율을 달성하기 위해 하위가우시안 꼬리 조건이 필수적인가?
• RQ5 일반 분포에 대해 비공개 주성분 분석의 오차에 대한 정보 이론적 하한선은 무엇인가?

주요 결과

• DP-PCA는 하위가우시안 유사 데이터에 대해 $\tilde{O}(\sqrt{d/n} + d/(\texttt{celsius} n))$의 오차 한계를 확보하며, 비밀성 항목에 대한 정보 이론적 하한선과 정확히 일치한다.
• 이 알고리즘은 비슷한 성능을 달성하기 위해 단지 $n = \tilde{O}(d)$의 샘플 수만 필요하며, 이는 이전 방법이 요구하는 $n = \Omega(d^{3/2})$보다 향상된 결과이다.
• 데이터 노이즈가 감소함에 따라 오차가 사라지므로, 기존 비공개 주성분 분석 방법이 낮은 노이즈 환경에서 비소멸 오차 문제를 앓는 문제를 해결한다.
• 거의 일치하는 하한선을 통해, 하위가우시안 꼬리 조건이 없이도 $\Omega(\sqrt{d/(\texttt{celsius} n)})$ 오차는 피할 수 없다는 것이 입증된다.
• 가정 1에서 제시된 하위가우시안 유사 조건은 정보 이론적으로 필수적이다. 이 조건이 없을 경우 비밀성 비용을 $\Omega(\sqrt{d/(\texttt{celsius} n)})$ 이하로 낮출 수 없다.
• 분산 적응형 노이즈 추가를 위한 비공개 평균 추정을 사용함으로써, 기존 기울기 노름 클리핑 대비 노이즈 주입을 줄여 유용성 향상을 이룬다.