[논문 리뷰] Wishart Mechanism for Differentially Private Principal Components Analysis

Wuxuan Jiang, Cong Xie외 1명|arXiv (Cornell University)|2015. 11. 18.

Privacy-Preserving Technologies in Data참고 문헌 16인용 수 10

한 줄 요약

이 논문은 $(\epsilon,0)$-차별적 비밀유지 PCA를 위한 새로운 입력 편향 방법인 위샤르트 기반 기법을 소개한다. 이 기법은 표본 공분산 행렬에 위샤르트 분포를 가진 노이즈를 추가함으로써, 편향된 행렬이 여전히 양의 준정부호성을 유지하도록 보장한다. 이는 라플라스 기반 접근법에 비해 더 높은 유틸리티를 달성하며, 샘플 복잡도와 계산 효율성 면에서 거의 최적에 가까운 성능을 보인다.

ABSTRACT

We propose a new input perturbation mechanism for publishing a covariance matrix to achieve $(ε,0)$-differential privacy. Our mechanism uses a Wishart distribution to generate matrix noise. In particular, We apply this mechanism to principal component analysis. Our mechanism is able to keep the positive semi-definiteness of the published covariance matrix. Thus, our approach gives rise to a general publishing framework for input perturbation of a symmetric positive semidefinite matrix. Moreover, compared with the classic Laplace mechanism, our method has better utility guarantee. To the best of our knowledge, Wishart mechanism is the best input perturbation approach for $(ε,0)$-differentially private PCA. We also compare our work with previous exponential mechanism algorithms in the literature and provide near optimal bound while having more flexibility and less computational intractability.

연구 동기 및 목표

• 공분산 행렬의 양의 준정부호 성질을 유지하면서 차별적 비밀유지 PCA를 구현하는 데 도전하는 것.
• 특히 라플라스 기반 노이즈에 비해 유틸리티 효율성이 높은 기존 입력 편향 방법의 대안을 개발하는 것.
• PCA뿐 아니라 노이즈가 추가된 공분산 행렬에 대한 후속 분석을 지원하는 계산 효율적이고 유연한 프레임워크를 제공하는 것.
• 엄격한 개인정보 보호 보장을 바탕으로 한 낮은 랭크 근사에서 거의 최적의 샘플 복잡도와 오차 경계를 달성하는 것.

제안 방법

• 기법은 원본 표본 공분산 행렬 $XX^T$ 에 위샤르트 분포를 가진 랜덤 행렬을 노이즈로 추가한다.
• 위샤르트 노이즈는 편향된 행렬이 여전히 양의 준정부호성을 유지하도록 보장하며, 유효한 공분산 행렬에 필수적인 성질이다.
• 기법은 사전 고유공간 계산에서 개인정보 보호가 보장되는 입력 편향 프레임워크에 기반한다.
• 노이즈 스케일은 형태 $vv^T - \hat{v}\hat{v}^T$ 의 $\ell_2$-유계 데이터 편향에 대한 공분산 행렬의 민감도에 기반하여 캘리브레이션된다.
• 이론적 분석을 통해 스펙트럴 노름과 부분공간 거리 기반의 근사 오차 경계를 유도한다.
• 지수 기반 기법과 라플라스 기반 방법과의 비교를 통해, 더 높은 유틸리티와 낮은 계산 복잡도를 강조한다.

실험 결과

연구 질문

• RQ1 위샤르트 분포를 가진 노이즈 행렬을 사용하여 공분산 행렬을 편향함으로써 $(\epsilon,0)$-차별적 비밀유지와 양의 준정부호성을 동시에 유지할 수 있는가?
• RQ2 위샤르트 기반 기법의 유틸리티는 라플라스 기반 입력 편향과 비교해, 샘플 복잡도와 오차 경계 면에서 어떻게 다른가?
• RQ3 기존의 지수 기반 기법과 라플라스 기반 알고리즘에 비해, 위샤르트 기반 기법은 낮은 랭크 근사에서 더 나은 또는 거의 최적의 성능을 달성하는가?
• RQ4 대칭 양의 준정부호 행렬에 대해 강력한 개인정보 보호 및 구조적 보장을 유지하면서도, 위샤르트 기반 기법은 효율적으로 구현될 수 있는가?

주요 결과

• 위샤르트 기반 기법은 라플라스 기반 입력 편향과 달리, 편향된 공분산 행렬이 여전히 양의 준정부호성을 유지함을 보장한다.
• 랭크-$k$ 근사에 대해 스펙트럴 오차 경계 $\left\|A - \hat{A}_k\right\|_2 \leq \lambda_{k+1} + O\left(\frac{d\log d}{\epsilon}\right)$ 를 달성하며, $k^3 > \log d$ 인 경우 기존 경계보다 더 날카롭다.
• 샘플 복잡도 경계는 $O\left(\frac{d}{\epsilon(1-\rho)(\lambda_1 - \lambda_2)} \left(\log\frac{1}{\eta} + d \log\frac{1}{\lambda_1 - \lambda_2}\right)\right)$ 이며, $\rho \geq \frac{\sqrt{2}}{2}$ 이므로, 약한 조건 하에서도 강력한 부분공간 근사가 가능하다.
• 알고리즘은 $O(kd^2)$ 시간에 실행되며, 이는 이전의 지수 기반 기법 기반 접근법의 $O(d^6/\epsilon)$ 복잡도에 비해 현저히 빠르다.
• 저자들이 정의한 인접성 정의 하에, $\Omega\left(\frac{d}{\epsilon}\right)$ 의 거의 최적의 하한 경계를 제공하며, 이는 기법의 효율성을 확인한다.
• $(\epsilon,\delta)$-DP 방법과 비교해도, 위샤르트 기반 기법은 동등하거나 더 높은 유틸리티와 계산 효율성을 유지하면서 더 강력한 개인정보 보호 보장을 제공한다 (순수 DP).