[논문 리뷰] Near-Optimal Algorithms for Differentially-Private Principal Components

Kamalika Chaudhuri, Anand D. Sarwate외 1명|arXiv (Cornell University)|2012. 07. 12.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 7

한 줄 요약

이 논문은 진짜 주성분 분석 결과에 가까운 부분공간을 우선시하는 행렬 비닝거 분포를 사용한 지수 기반 메커니즘을 활용하는 새로운 비밀보장 주성분 분석(PCA) 알고리즘인 PPCA를 제안한다. 이 알고리즘은 데이터 차원 d에 대해 O(d)로 거의 최적의 샘플 복잡도 스케일링을 달성하며, 기존의 SULQ와 같은 방법들보다 훨씬 뛰어난 성능을 보이며, Ω(d^{3/2}√log d)의 스케일링을 보이는 것과 대비된다. 또한 MCMC 샘플링을 통해 실제 데이터에서 변동성 유지 능력이 뛰어나다.

ABSTRACT

Principal components analysis (PCA) is a standard tool for identifying good low-dimensional approximations to data in high dimension. Many data sets of interest contain private or sensitive information about individuals. Algorithms which operate on such data should be sensitive to the privacy risks in publishing their outputs. Differential privacy is a framework for developing tradeoffs between privacy and the utility of these outputs. In this paper we investigate the theory and empirical performance of differentially private approximations to PCA and propose a new method which explicitly optimizes the utility of the output. We show that the sample complexity of the proposed method differs from the existing procedure in the scaling with the data dimension, and that our method is nearly optimal in terms of this scaling. We furthermore illustrate our results, showing that on real data there is a large performance gap between the existing method and our method.

연구 동기 및 목표

• 민감한 데이터에서 주성분 분석을 수행하면서 개인의 기밀을 보존하는 데 도전하는 것.
• 진짜 주성분 분석 결과에 가까운 부분공간을 선호함으로써 최대한의 유효성을 확보하는 비밀보장 주성분 분석 알고리즘을 개발하는 것.
• 비밀보장 주성분 분석의 이론적 샘플 복잡도 경계를 규명하고 최적성을 확립하는 것.
• 실제 데이터셋에서 제안된 방법이 SULQ와 같은 기존 방법들보다 변동성 유지 능력에서 뛰어나다는 것을 경험적으로 입증하는 것.

제안 방법

• 진짜 주성분 분석 결과에 가까운 부분공간을 선호하는 방향으로 샘플링하는 행렬 비닝거 분포에서 유래한 지수 기반 메커니즘의 한 예인 PPCA를 제안한다. 이는 k차원 부분공간을 선택한다.
• Hoff(2009)의 마르코프 체인 몬테카를로(MCMC) 절차를 활용하여 행렬 비닝거 분포에서 효율적으로 샘플링함으로써 수렴 시 비밀보장이 보장된다.
• 소음 주입을 제어하기 위해 비밀보장 예산 εp를 사용하며, 지수 기반 메커니즘의 이론적 보장에 따라 (εp)-비밀보장 주성분 분석을 확보한다.
• k=1일 때의 샘플 복잡도를 분석하여, SULQ는 Ω(d^{3/2}√log d)로 스케일링되고, PPCA는 O(d)로 스케일링됨을 도출한다. 또한, 임의의 비밀보장 주성분 분석 알고리즘에 대해 일반적인 하한선 Ω(d)를 도출한다.
• 레마 14를 활용하여 단위 구면 위에 확률적 패킹을 적용하여, 유한한 상호 내적을 갖는 벡터 집합을 구성함으로써 이론적 샘플 복잡도 분석을 뒷받침한다.

실험 결과

연구 질문

• RQ1 데이터 차원 d에 대한 함수로서 비밀보장 주성분 분석의 최적 샘플 복잡도 스케일링은 무엇인가?
• RQ2 변동성 유지 능력을 측정했을 때, 비밀보장 주성분 분석 방법 간의 유효성은 어떻게 비교되는가?
• RQ3 진짜 주성분 분석 부분공간에 가까운 정도를 명시적으로 최적화하도록 비밀보장 주성분 분석 알고리즘을 설계할 수 있는가?
• RQ4 SULQ와 같은 기존 방법들과 비교해, 유효성 측면에서 성능 격차가 증명 가능하게 존재하는가?

주요 결과

• PPCA는 k=1일 때 O(d)의 샘플 복잡도를 달성하며, 이는 어떠한 비밀보장 주성분 분석 알고리즘도 최소 Ω(d)개의 샘플이 필요하므로 거의 최적이다.
• SULQ의 샘플 복잡도는 Ω(d^{3/2}√log d)로 스케일링되며, 이는 PPCA와 비교해 상당한 이론적 성능 격차를 시사한다.
• 실제 세계 데이터에서 PPCA는 SULQ보다 훨씬 더 많은 변동성을 포착하며, 유효성 측면에서 뚜렷한 경험적 성능 격차를 보여준다.
• PPCA에서 행렬 비닝거 분포의 사용은 진짜 주성분 분석 결과에 가까운 부분공간을 선호함으로써 더 나은 부분공간 선택을 가능하게 하여 유효성을 향상시킨다.
• 이론적 분석을 통해 PPCA가 데이터 차원 d에 대한 샘플 복잡도 스케일링 측면에서 거의 최적임을 확인한다.