[논문 리뷰] Elliptical Perturbations for Differential Privacy

Matthew Reimherr, Jordan Awan|arXiv (Cornell University)|2019. 05. 23.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 4

한 줄 요약

이 논문은 유한차원 및 무한차원 공간에서의 차별적 개인정보보호(DP)를 위한 타원형 분포를 조사한다. 특정 조건 하에서 타원형 편향은 유한차원에서 $\epsilon$-DP를 달성할 수 있음을 보여주지만, 무한차원 공간에서는 어떤 타원형 분포도 $\epsilon$-DP를 달성할 수 없으며, 타원형 및 가우시안 과정이 그러한 설정에서 동치이기 때문에 오직 $(\epsilon,\delta)$-DP만 가능하다는 것을 밝힌다.

ABSTRACT

We study elliptical distributions in locally convex vector spaces, and determine conditions when they can or cannot be used to satisfy differential privacy (DP). A requisite condition for a sanitized statistical summary to satisfy DP is that the corresponding privacy mechanism must induce equivalent measures for all possible input databases. We show that elliptical distributions with the same dispersion operator, $C$, are equivalent if the difference of their means lies in the Cameron-Martin space of $C$. In the case of releasing finite-dimensional projections using elliptical perturbations, we show that the privacy parameter $\ep$ can be computed in terms of a one-dimensional maximization problem. We apply this result to consider multivariate Laplace, $t$, Gaussian, and $K$-norm noise. Surprisingly, we show that the multivariate Laplace noise does not achieve $\ep$-DP in any dimension greater than one. Finally, we show that when the dimension of the space is infinite, no elliptical distribution can be used to give $\ep$-DP; only $(ε,δ)$-DP is possible.

연구 동기 및 목표

• 타원형 분포가 국소적으로 볼록한 벡터 공간에서 차별적 개인정보보호를 만족할 수 있는 조건을 규명하는 것.
• DP를 위한 타원형 편향에 의해 유도된 확률측도의 동치성을 분석하는 것.
• 무한차원 설정에서 타원형 노이즈가 순수한 $\epsilon$-DP를 달성할 수 있는지 조사하는 것.
• 맞춤형 종속성과 꼬리 행동을 가진 타원형 분포를 사용하여 다변량 및 기능 데이터에 대해 라플라스 기반 기법을 확장하는 것.
• 무한차원 함수 공간에서 타원형 기법이 $(\epsilon,\delta)$-DP를 달성할 수 있는 조건을 설정하는 것.

제안 방법

• 논문은 국소적으로 볼록한 벡터 공간 내에서 타원형 분포를 연구하며, Cameron-Martin 공간을 통한 측도 동치성에 초점을 맞춘다.
• 동일한 분산 연산자 $C$를 가진 두 타원형 분포가 동치가 되는 조건을 도출하며, 이는 평균 차이가 $C$의 Cameron-Martin 공간에 속해 있는지 여부에 따라 달라진다.
• 유한차원 요약에 대해, 개인정보 보호 파rameter $\epsilon$을 일변도 최적화 문제로 감소시킨다.
• 다변량 라플라스, $t$, 가우시안, $K$-노름 노이즈에 이 프레임워크를 적용하여, 다변량 라플라스가 차원이 1보다 클 경우 $\epsilon$-DP를 달성하지 못함을 보여준다.
• 무한차원 공간에서 어떤 타원형 분포도 가우시안 혼합과 동치임을 증명하며, 따라서 $\epsilon$-DP를 달성할 수 없다는 것을 밝힌다.
• 혼합 가우시안을 사용하여 $(\epsilon,\delta)$-DP 보장을 확립하며, $\delta$는 혼합 변수 $V$의 모멘트 생성 함수로부터 유도된다.

실험 결과

연구 질문

• RQ1 같은 분산 연산자 $C$를 가진 두 타원형 분포가 국소적으로 볼록 공간에서 동치가 되는 조건은 무엇인가?
• RQ2 다변량 라플라스 노이즈는 차원이 1을 초과할 경우 $\epsilon$-DP를 달성할 수 있는가?
• RQ3 무한차원 함수 공간에서 타원형 편향을 사용하여 $\epsilon$-DP를 달성하는 것이 가능한가?
• RQ4 무한차원에서 타원형 과정의 혼합 구조는 개인정보 보호 보장에 어떤 영향을 미치는가?
• RQ5 무한차원 설정에서 타원형 기법은 여전히 $(\epsilon,\delta)$-DP를 만족하면서도 가우시안 기법보다 더 뛰어난 유틸리티를 달성할 수 있는가?

주요 결과

• 동일한 분산 연산자 $C$를 가진 타원형 분포는 평균의 차이가 $C$의 Cameron-Martin 공간에 속해 있을 경우 동치이다.
• 유한차원 설정에서는 개인정보 보호 파rameter $\epsilon$을 일변도 최적화 문제를 통해 계산할 수 있다.
• 다변량 라플라스 분포는 차원이 1을 초과하는 모든 경우에서 $\epsilon$-DP를 달성하지 못한다.
• 무한차원 공간에서는 어떤 타원형 분포도 $\epsilon$-DP를 달성할 수 없으며, 오직 $(\epsilon,\delta)$-DP만 가능하다.
• 타원형 과정의 혼합 변수 $V$는 정제된 출력 $\widetilde{T}_D$로부터 복원 가능하므로, 이 기법은 실제로 가우시안 혼합으로 간주할 수 있다.
• $(\epsilon,\delta)$-DP의 경우, 기법은 $\sigma^2 \geq \frac{2\log(2/\delta')}{\epsilon^2}\Delta^2$ 조건을 만족할 때 개인정보 보호를 달성하며, 여기서 $\delta'$는 혼합 변수 $V$의 모멘트 생성 함수를 통해 조정된다.