[논문 리뷰] Privacy and Utility Tradeoff in Approximate Differential Privacy

Quan Geng, Wei Ding외 2명|arXiv (Cornell University)|2018. 10. 01.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 12

한 줄 요약

이 논문은 단일 실수 값 쿼리에 대한 $(\epsilon,\delta)$-차별적(private) 노이즈 추가 메커니즘의 새로운 클래스인 잘라낸 라플라스 메커니즘을 제안한다. 선형 프로그래밍의 이중성 기반 하한값과 라플라스 꼬리 부분을 잘라내는 새로운 메커니즘 설계를 조합하여, 저비밀성 영역에서 최적임을 증명하며 이전의 상수 배수 갭을 해결하고 모든 비밀성 수준에서 최적의 가우시안 메커니즘을 능가한다.

ABSTRACT

We characterize the minimum noise amplitude and power for noise-adding mechanisms in $(ε, δ)$-differential privacy for single real-valued query function. We derive new lower bounds using the duality of linear programming, and new upper bounds by proposing a new class of $(ε,δ)$-differentially private mechanisms, the \emph{truncated Laplacian} mechanisms. We show that the multiplicative gap of the lower bounds and upper bounds goes to zero in various high privacy regimes, proving the tightness of the lower and upper bounds and thus establishing the optimality of the truncated Laplacian mechanism. In particular, our results close the previous constant multiplicative gap in the discrete setting. Numeric experiments show the improvement of the truncated Laplacian mechanism over the optimal Gaussian mechanism in all privacy regimes.

연구 동기 및 목표

• 이산 설정에서 $(\epsilon,\delta)$-차별적 비밀성에 대한 노이즈 추가 메커니즘의 상수 배수 갭을 제거하기 위해.
• 선형 프로그래밍의 이중성에 기반해 실수 값 쿼리 함수에 대한 최소 노이즈 진폭과 전력에 대한 새로운 하한값을 유도하기 위해.
• 노이즈 요구량에 대한 더 날카운 상한값을 달성하는 새로운 메커니즘 클래스—잘라낸 라플라스—를 설계하기 위해.
• 저비밀성 영역에서 하한과 상한 사이의 배수 갭이 사라짐을 보여 주어 잘라낸 라플라스 메커니즘이 최적임을 입증하기 위해.
• 모든 비밀성 수준에서 최적의 가우시안 메커니즘과 비교해 실증적으로 더 높은 유틸리티(낮은 노이즈 진폭과 전력)를 보여주기 위해.

제안 방법

• 연속적인 노이즈 확률 분포와 손실 함수를 이산화하여 기능 최적화 문제를 선형 프로그래밍 문제로 변환하기 위해.
• 선형 프로그래밍의 이중성에 기반해 실수 값 쿼리 함수에 대한 $(\epsilon,\delta)$-차별적 비밀성 하에서 최소 노이즈 진폭과 전력에 대한 새로운 하한값을 도출하기 위해.
• 작은 노이즈에서는 빠른 감쇠를 보이고 큰 노이즈에서는 급격히 잘라내어 무거운 꼬리 부분을 방지하는 잘라낸 라플라스 메커니즘을 제안하기 위해.
• 노이즈 전력의 최소화를 위해 $(\epsilon,\delta)$-차별적 비밀성을 확보할 수 있도록 잘라내는 지점을 校정하기 위해.
• 최적의 가우시안 메커니즘과 잘라낸 라플라스 메커니즘을 비교하기 위해 가우시안 CDF를 사용하여 校정한 것이며, 꼬리 근사치가 아닌 것을 사용하기 위해.
• 노이즈 진폭과 전력 비율을 평가하기 위해 $\epsilon \in [10^{-4}, 10]$ 및 $\delta \in [10^{-6}, 0.1]$ 범위에서 수치 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 단일 실수 값 쿼리 함수에 대해 $(\epsilon,\delta)$-차별적 비밀성을 갖는 메커니즘의 노이즈 진폭과 전력에 대한 기본 하한은 무엇인가?
• RQ2 가우시안 메커니즘보다 더 날카운 노이즈 요구량 상한을 달성할 수 있는 새로운 노이즈 추가 메커니즘을 설계할 수 있는가?
• RQ3 유도된 하한과 상한 사이의 배수 갭이 저비밀성 영역에서 1으로 수렴하는가? 이는 최적성의 증거가 된다.
• RQ4 모든 비밀성 수준에서 잘라낸 라플라스 메커니즘은 최적의 가우시안 메커니즘보다 노이즈 효율성이 뛰어나게 되는가?
• RQ5 이전 연구에서 이산 설정에서 알려진 상수 배수 갭이 연속적인 실수 값 케이스에서 해결될 수 있는가?

주요 결과

• 노이즈 진폭과 전력에 대한 새로운 하한과 상한 사이의 배수 갭이 $\epsilon \to 0$일 때 1로 수렴함을 보여, 하한과 상한이 날카롭다는 것을 입증한다.
• 저비밀성 영역 $\epsilon = \delta \to 0$에서 노이즈 전력에 대한 하한과 상한의 비율이 1로 수렴함을 보여, 잘라낸 라플라스 메커니즘이 최적임을 확인한다.
• 수치 실험을 통해 모든 비밀성 수준에서 최적의 가우시안 메커니즘보다 잘라낸 라플라스 메커니즘이 낮은 노이즈 진폭과 전력으로 구현됨을 입증한다.
• 이 개선은 작은 값에서의 노이즈 밀도 감쇠가 더 빠르고, 잘라내기로 인해 중후한 꼬리 부분이 제거됨에 기인한다.
• 하한값은 이산화와 선형 프로그래밍의 이중성에 기반하여 도출되었으며, 이는 이전의 정수 값 쿼리 함수에서 실수 값 쿼리 함수로의 결과 확장을 의미한다.
• 이전에 알려진 이산 설정에서의 상수 배수 갭을 해결하였으며, 이는 Geng & Viswanath (2016a)에서 확인된 linh다.