[논문 리뷰] Differential Privacy with Compression

Shuheng Zhou, Katrina Ligett외 1명|ArXiv.org|2009. 01. 10.

Privacy-Preserving Technologies in Data참고 문헌 17인용 수 9

한 줄 요약

이 논문은 가우시안 랜덤 행렬을 통한 무작위 선형 압축을 적용하여 통계 데이터베이스에서 차별적 비밀보장성을 달성하는 방법을 제안한다. 이는 유틸리티를 유지하는 합성 데이터 배포를 가능하게 하며, 주성분 분석(PCA) 및 기타 공분산 기반 분석에서 압축된 데이터가 비밀성을 유지하면서도 정확성을 유지함을 이론적으로 보장한다. 비밀성과 유틸리티의 상호 교환 관계는 행렬 노름 한계와 측도 잘라내기 기법을 통해 정량화된다.

ABSTRACT

This work studies formal utility and privacy guarantees for a simple multiplicative database transformation, where the data are compressed by a random linear or affine transformation, reducing the number of data records substantially, while preserving the number of original input variables. We provide an analysis framework inspired by a recent concept known as differential privacy (Dwork 06). Our goal is to show that, despite the general difficulty of achieving the differential privacy guarantee, it is possible to publish synthetic data that are useful for a number of common statistical learning applications. This includes high dimensional sparse regression (Zhou et al. 07), principal component analysis (PCA), and other statistical measures (Liu et al. 06) based on the covariance of the initial data.

연구 동기 및 목표

• PCA 및 고차원 회귀와 같은 일반적인 학습 작업을 위한 공식적인 비밀 보장 메커니즘을 개발하여 통계적 유틸리티를 유지하는 것.
• i.i.d. 가우시안 행렬을 사용한 무작위 선형 압축이 원본 데이터의 경험적 공분산 구조를 유지하면서도 차별적 비밀보장을 달성할 수 있음을 보여주는 것.
• 특히 고차원, 소표본 크기 설정에서 비밀보장(차별적 비밀보장 및 분포 기반 비밀보장)과 유틸리티를 연결하는 이론적 프레임워크를 제공하는 것.
• 행렬 노름 차이 및 측도 잘라내기 기반의 경계를 통해 비밀성, 데이터 차원, 압축률 간의 상호 교환 관계를 분석하는 것.
• 압축된 데이터가 개인의 비밀을 해치지 않으면서도 후속 통계적 추론에 신뢰성 있게 사용될 수 있는 조건을 설정하는 것.

제안 방법

• n × p 데이터를 m × p 합성 데이터로 압축하기 위해 무작위 선형 변환 $\mathcal{X} = \Phi X$ 를 적용하며, $\Phi \sim \mathcal{N}(0,1)^{m \times n}$ 이고 $m \ll n$ 이다.
• 비밀성 泄露를 제어하기 위해 측도 공간 잘라내기와 재정규화를 사용하며, 각 분포 하에서 확률이 $1/n^2$ 이하인 사건은 기각한다.
• 비밀성은 확률 밀도 비율 $f_{\Sigma_1}(\mathcal{X}) / f_{\Sigma_i}(\mathcal{X})$ 를 통해 정의하며, 행렬 노름과 공분산 편차 항을 사용하여 로그 비율을 경계한다.
• 대규모 편차 경계로부터 유도된 $\Delta_{\max}(\mathcal{S}_n)$ 을 인구 공분산과 표본 공분산 행렬 간의 쌍별 거리에 대한 경계로 정의한다.
• 원본과 압축된 표본 공분산 행렬 간의 차이를 제어하기 위해 농도 불등식과 행렬 편차 경계를 사용하여 $\|B\|_F = o(1)$ 이 되도록 하며, 이는 $m = \Omega(p^2 \ln(2np))$ 일 때 성립한다.
• 원본과 압축된 표본 공분산 행렬 간의 차이를 제어하기 위해 농도 불등식과 행렬 편차 경계를 사용하며, $m = \Omega(p^2 \ln(2np))$ 일 때 $\|B\|_F = o(1)$ 이 된다.

실험 결과

연구 질문

• RQ1 i.i.d. 가우시안 행렬을 통한 무작위 선형 압축이 PCA 및 공분산 기반 추론에 대해 유틸리티를 유지하면서도 차별적 비밀보장을 달성할 수 있는가?
• RQ2 고차원 데이터 맥락에서 압축률 $m$, 데이터 차원 $p$, 비밀보장 간의 상호 교환 관계는 어떠한가?
• RQ3 측도 잘라내기와 밀도 재정규화는 유틸리티를 크게 떨어뜨리지 않으면서도 차별적 비밀보장을 보장하는 데 어떻게 활용될 수 있는가?
• RQ4 압축된 데이터가 통계적 학습 작업에 필요한 경험적 공분산 구조를 어느 정도 유지하는가?
• RQ5 분포 기반 비밀보장은 랜덤 사영 맥락에서 차별적 비밀보장과 어떻게 형식화되고 연결될 수 있는가?

주요 결과

• $m = \Omega(p^2 \ln(2np))$ 일 때, 원본과 압축된 표본 공분산 행렬 간의 차이는 $\|B\|_F = o(1)$ 이며, 이는 PCA에 대해 높은 유틸리티를 보장한다.
• 비밀보장 매개변수 $\alpha(m,\delta)$ 는 $mp\|\Delta\|_F / (\lambda_{\min}(\Sigma_i)\lambda_{\min}(\Sigma_1))$ 와 $\Delta_{\max}$ 를 포함한 항으로 경계되며, 추가로 $O(\sqrt{\ln(2np)/m})$ 정도의 항이 존재한다.
• 각 분포당 총 측도가 $\leq 1/n^2$ 인 저확률 사건의 잘라내기는 비밀성 비율이 경계됨을 보장하며, $O(1/n^2)$ 정규화 오차로 인해 비밀보장 매개변수에 미미한 영향을 미친다.
• 이 방법은 두 데이터베이스 간의 가능도 비율이 최대 곱셈 인자 $\exp(\alpha(m,\delta))$ 이내로 제한되는 방식으로 차별적 비밀보장을 달성한다. 이때 $\alpha(m,\delta)$ 는 행렬 노름과 고유값 경계를 통해 제어된다.
• 다변량 정규분포 데이터의 경우 $\Delta_{\max}(\mathcal{S}_n) = O_P(\sqrt{\log p / n})$ 이며, 이는 표본 공분산과 인구 공분산 간의 편차에 대한 구체적인 경계를 제공한다.
• 이 방법은 PCA 및 기타 공분산 기반 분석을 지원하는 정확도 높은 합성 데이터 $\mathcal{X} = \Phi X$ 의 비밀 보장된 배포를 가능하게 하며, 오직 흐린 요약 통계만 배포하는 기존 방법보다 뛰어난 성능을 보인다.