[논문 리뷰] Circulant Matrices and Differential Privacy.

Jalaj Upadhyay|arXiv (Cornell University)|2014. 01. 01.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 3

한 줄 요약

이 논문은 n개의 가우시안 표본과 n개의 베르누이 시행만을 요구하는 광범위한 순환 랜덤 프로젝션 행렬 클래스가, 존슨-린든스트라우스 유효성은 유지하면서도 차별적 프라이버시를 유지함을 증명함으로써 열려 있는 문제를 해결한다. 이는 컷 쿼리에 대해 O(n^o(1)) 요인, 공분산 쿼리에 대해 O(n^0.38) 요인으로 이전 작업보다 런타임을 향상시키며, 그래프 스퍼스피케이션에 의존하지 않고 O(n log n)의 행렬-벡터 곱셈 시간을 달성한다.

ABSTRACT

This paper resolves an open problem raised by Blocki et al. (FOCS 2012), i.e., whether other variants of the Johnson-Lindenstrauss transform preserves differential privacy or not? We prove that a general class of random projection matrices that satisfies the Johnson-Lindenstrauss lemma also preserves dif-ferential privacy. This class of random projection matrices requires only n Gaussian samples and n Bernoulli trials and allows matrix-vector multiplication in O(n log n) time. In this respect, this work un-conditionally improves the run time of Blocki et al. (FOCS 2012) without using the graph sparsification trick of Upadhyay (ASIACRYPT 2013). For the metric of measuring randomness, we stick to the norm used by earlier researchers who studied variants of the Johnson-Lindenstrauss transform and its applica-tions, i.e., count the number of random samples made. In concise, we improve the sampling complexity by quadratic factor, and the run time of cut queries by an O(no(1)) factor and that of covariance queries by an O(n0.38) factor. Our proof for both the privacy and utility guarantee uses several new ideas. In order to improve the dimension bound, we use some known results from the domain of statistical model selection. This makes our proof short and elegant, relying just on one basic concentration inequality. For the privacy proof, even though our mechanism closely resembles that of Blocki et al. (FOCS 2012) and Upadhyay (ASIACRYPT 2013), we cannot use their proof idea. This is because the projection matrices we are inter-ested in introduces non-trivial correlations between any two rows of the published matrix, and, therefore, we cannot invoke the composition theorem of Dwork, Rothblum and Vadhan (STOC 2009). We argue that the published matrix is not r-multivariate distribution; rather one matrix-variate distribution. We compute the distribution of the published matrix and then prove it preserves differential privacy.

연구 동기 및 목표

• 블록시 등(FOCS 2012)이 제기한, 존슨-린든스트라우스 변형이 차별적 프라이버시를 유지하는지 여부라는 열린 문제를 해결하기 위해.
• 존슨-린든스트라우스 렘마 하에서 차별적 프라이버시와 유효성을 모두 유지하는 랜덤 프로젝션 행렬의 클래스를 설계하기 위해.
• 커트 쿼리 및 공분산 쿼리와 같은 프라이버시 보장 쿼리에 대해 표본 복잡도를 감소시키고 런타임을 향상시키기 위해.
• 프로젝션 행렬의 비자명한 행 간 상관관계로 인해 표준 조합 정리가 실패하므로, 이를 피하는 새로운 프라이버시 증명 전략을 제공하기 위해.
• 집중 불등식과 행렬-변량 분포 분석을 통해 프라이버시와 유효성 보장을 통합하기 위해.

제안 방법

• n개의 가우시안 표본과 n개의 베르누이 시행을 사용하여 순환 랜덤 프로젝션 행렬의 클래스를 구성하기 위해.
• 통계 모델 선택에서 알려진 결과를 활용하여 존슨-린든스트라우스 렘마의 차원 유계를 강화하기 위해.
• 이전 작업과 비교해 간단한 기본 집중 불등식 하나만을 사용하여 유효성 증명하기 위해.
• 행 간 상관관계로 인해 다변량 분포가 아닌 행렬-변량 분포로 공개된 행렬을 모델링하기 위해.
• 조합 정리에 의존하지 않고 정확한 공개된 행렬의 분포를 계산하여 차별적 프라이버시를 확립하기 위해.
• 이전 메커니즘에서 사용된 가정을 피하기 위해 행 간 종속성을 고려하는 새로운 프라이버시 증명 전략을 사용하기 위해.

실험 결과

연구 질문

• RQ1 순환 랜덤 프로젝션 행렬은 존슨-린든스트라우스 렘마를 만족하면서도 차별적 프라이버시를 유지할 수 있는가?
• RQ2 이러한 프로젝션 행렬 클래스에 대해 표준 조합 정리가 실패하는 이유는 무엇이며, 이를 대체할 수 있는 프라이버시 증명 방법은 무엇인가?
• RQ3 그래프 스퍼스피케이션을 사용하지 않고도 차별적 프라이버시 보장 차원 축소의 표본 복잡도와 런타임을 향상시킬 수 있는가?
• RQ4 공개된 행렬의 행렬-변량 성격이 i.i.d. 행 모델과 비교해 프라이버시 분석에 어떤 영향을 미치는가?
• RQ5 이 방법을 사용할 경우 컷 쿼리 및 공분산 쿼리의 런타임에서 양적 향상은 어느 정도인가?

주요 결과

• 제안된 방법은 이전 작업 대비 표본 복잡도를 제곱근 차수로 감소시킨다.
• 행렬-벡터 곱셈은 O(n log n) 시간에 수행되며, 이는 이전 방법보다 향상된 성능이다.
• 커트 쿼리의 런타임은 O(n^o(1)) 요인으로 향상되었고, 공분산 쿼리의 런타임은 O(n^0.38) 요인으로 향상되었다.
• 비자명한 행 간 상관관계가 존재하더라도 표준 조합 정리가 무효화되지만, 프라이버시 증명은 유효하다.
• 분석은 단일 집중 불등식에 의존하여 증명이 짧고 우아하다.
• 메커니즘은 공개된 행렬을 행렬-변량 분포로 모델링하여 정확한 분포 계산이 가능하게 하여 차별적 프라이버시를 달성한다.