[논문 리뷰] Smooth Sensitivity Based Approach for Differentially Private Principal Component Analysis

Ran Gilad-Bachrach, Alon Gonen|arXiv (Cornell University)|2017. 10. 29.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 3

한 줄 요약

이 논문은 고유값 간격(eigengap)에 기반해 소음을 제어하는 부드러운 감도(smooth sensitivity)를 사용한 출력 편향(output perturbation)을 활용하여 계산 효율적인 후처리 방법을 제안한다. 이는 고유값 간격 조건 하에서 거의 최적의 표본 복잡도를 달성하며, 정확도 손실 최소화와 함께 희소성과 기존 PCA 구현과의 호환성을 유지한다.

ABSTRACT

Currently known methods for this task either employ the computationally intensive \emph{exponential mechanism} or require an access to the covariance matrix, and therefore fail to utilize potential sparsity of the data. The problem of designing simpler and more efficient methods for this task has been raised as an open problem in \cite{kapralov2013differentially}. In this paper we address this problem by employing the output perturbation mechanism. Despite being arguably the simplest and most straightforward technique, it has been overlooked due to the large \emph{global sensitivity} associated with publishing the leading eigenvector. We tackle this issue by adopting a \emph{smooth sensitivity} based approach, which allows us to establish differential privacy (in a worst-case manner) and near-optimal sample complexity results under eigengap assumption. We consider both the pure and the approximate notions of differential privacy, and demonstrate a tradeoff between privacy level and sample complexity. We conclude by suggesting how our results can be extended to related problems.

연구 동기 및 목표

• 전체 공분산 행렬에 대한 접근이 필요 없는 효율적인 비밀리한 주성분 분석 방법을 설계하는 데 있어 열려 있는 문제를 해결하기 위해.
• 주성분 분석의 주요 고유벡터의 높은 국소 감도(global sensitivity)로 인해 단순한 출력 편향이 효과를 발휘하지 못하는 문제를 극복하기 위해.
• 순수 및 약한 비밀리한 차별적 보장(pure and approximate differential privacy)을 확보하면서도 유효성과 효율성을 유지하는 방법을 개발하기 위해.
• 기존 주성분 분석 솔버, 특히 데이터의 희소성을 활용하는 솔버와의 호환성을 보장하기 위해, 노이즈를 후처리 단계에서 적용함으로써 이를 달성하기 위해.

제안 방법

• 표준 주성분 분석 계산 이후 주성분 분석 출력 벡터에 노이즈를 추가함으로써 출력 편향을 적용한다.
• 주요 고유벡터의 입력 변화에 대한 감도를 제한하기 위해 부드러운 감도를 사용하여 더 날카운 노이즈 캘리브레이션을 가능하게 한다.
• 노이즈의 크기는 경험적 공분산 행렬의 k번째와 (k+1)번째 고유값 간의 고유값 간격(eigengap)에 의해 결정된다.
• 순수 비밀리한 차별적 보장(pure DP)을 위해, 고유값 간격에 기반한 스케일을 갖는 라플라스 노이즈를 사용한다.
• 약한 비밀리한 차별적 보장(approximate DP)을 위해, 고유값 간격과 신뢰도 파라미터에 따라 조정되는 가우시안 노이즈를 사용한다.
• 사용자 정보 泄露를 방지하기 위해 서명의 모호성(sign ambiguity)를 제거하기 위해 대칭성 깨뜨림 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 주성분 분석의 주요 고유벡터의 높은 국소 감도에도 불구하고, 출력 편향이 비밀리한 주성분 분석에 효과적으로 적용될 수 있는가?
• RQ2 부드러운 감도를 어떻게 활용하여 최소한의 표본 복잡도로 비밀리한 차별적 보장을 달성할 수 있는가?
• RQ3 고유값 간격 조건 하에서 비밀리한 수준(ε)과 표본 복잡도 간의 상호 교환 관계는 어떠한가?
• RQ4 제안된 방법이 희소성을 유지하고, 코드 수정 없이 기존 주성분 분석 솔버와 통합될 수 있는가?
• RQ5 주성분 분석 해법에서 발생하는 대칭성(예: 서명의 모호성)은 어떻게 해결할 수 있으며, 이를 통해 개인정보 泄露를 방지할 수 있는가?

주요 결과

• 고유값 간격 조건 하에서, 이 방법은 순수 비밀리한 차별적 보장 하에 표본 복잡도 O(1/(ε_gap * ε_g))를 달성한다.
• 약한 비밀리한 차별적 보장 하에서는 고유값 간격과 확률적 보장 수준에 따라 표본 복잡도가 O((d + log(1/δ)) / (ε_gap * ε_p))가 되며, 높은 확률로 성립한다.
• 동일한 고유값 간격 조건 하에서 오차가 ε_g로 제한되어 거의 최적의 정확도를 유지한다.
• 노이즈 스케일은 고유값 간격에 반비례하므로, 더 큰 간격일수록 더 적은 노이즈와 더 높은 유효성을 보장한다.
• 이 방법은 희소 데이터와 호환되며, 어떤 주성분 분석 구현에도 후처리 단계로 적용 가능하다.
• 이 방법은 기존에 개인정보 泄露를 유발할 수 있었던 주성분 분석 출력의 서명 모호성 문제를 해결한다.