[논문 리뷰] Per-instance Differential Privacy and the Adaptivity of Posterior Sampling in Linear and Ridge regression.

Yuxiang Wang|arXiv (Cornell University)|2017. 07. 24.

Advanced Causal Inference Techniques인용 수 3

한 줄 요약

이 논문은 개별 데이터에 기반한 비밀유지성(개별적 차별적 비밀유지, pDP)을 소개한다. 이는 특정 데이터 세트에 따라 개인의 비밀유지 수준을 정량화하는 세밀한 비밀유지 개념으로, 데이터가 i.i.d.일 경우 일반화를 보장함을 보여준다. 선형 회귀 및 릿지 회귀에서 One-Posterior-Sample (OPS) 추정기의 분석을 통해, 조건이 잘 맞는 데이터에서 $(\epsilon,\delta)$-pDP를 달성하고 이론적 하한선에 비해 $1+\tilde{O}(n^{-1}\epsilon^{-2})$ 요소 내에서 일치함을 증명한다. 시뮬레이션 결과는 데이터 세트의 개별 개인에 대해 더 우수한 비밀유지-유용성 트레이드오프를 보여준다.

ABSTRACT

Differential privacy (DP), ever since its advent, has been a controversial object. On the one hand, it provides strong provable protection of individuals in a data set, on the other hand, it has been heavily criticized for being not practical, partially due to its complete independence to the actual data set it tries to protect. In this paper, we address this issue by a new and more fine-grained notion of differential privacy --- per instance differential privacy (pDP), which captures the privacy of a specific individual with respect to a fixed data set. We show that this is a strict generalization of the standard DP and inherits all its desirable properties, e.g., composition, invariance to side information and closedness to postprocessing, except that they all hold for every instance separately. When the data is drawn from a distribution, we show that per-instance DP implies generalization. Moreover, we provide explicit calculations of the per-instance DP for the output perturbation on a class of smooth learning problems. The result reveals an interesting and intuitive fact that an individual has stronger privacy if he/she has small leverage score with respect to the data set and if he/she can be predicted more accurately using the leave-one-out data set. Using the developed techniques, we provide a novel analysis of the One-Posterior-Sample (OPS) estimator and show that when the data set is well-conditioned it provides $(\epsilon,\delta)$-pDP for any target individuals and matches the exact lower bound up to a $1+ ilde{O}(n^{-1}\epsilon^{-2})$ multiplicative factor. We also propose AdaOPS which uses adaptive regularization to achieve the same results with $(\epsilon,\delta)$-DP. Simulation shows several orders-of-magnitude more favorable privacy and utility trade-off when we consider the privacy of only the users in the data set.

연구 동기 및 목표

• 표준 차별적 비밀유지가 지나치게 보수적인 비판에 대응하기 위해, 데이터에 의존하고 개별 사례에 특화된 비밀유지 개념을 도입한다.
• 고정된 데이터 세트에 대해 개인의 비밀유지를 정량화하는 새로운 비밀유지 프레임워크—개별적 차별적 비밀유지(pDP)—를 개발한다.
• 데이터가 i.i.d.일 경우 pDP가 일반화를 암시하며, 조합 및 후처리 불변성과 같은 핵심 DP 성질을 개인별로 상속받는다.
• pDP 하에서 선형 및 릿지 회귀에서 One-Posterior-Sample (OPS) 추정기의 비밀유지 보장을 분석한다.
• 표준 $(\epsilon,\delta)$-DP를 달성하면서도 pDP의 이론적 하한선에 작은 요소 내에서 일치하는, $\epsilon$ 및 $\delta$에 대해 적응형 정규화 방법인 AdaOPS를 제안한다.

제안 방법

• 표준 DP의 стрict한 일반화로, 비밀유지 보장을 각 개인과 고정된 데이터 세트별로 계산하는 개별적 차별적 비밀유지(pDP)를 정의한다.
• pDP가 각 데이터 인스턴스에 대해 개별적으로 적용될 때도 핵심 DP 성질—조합, 후처리 불변성, 군집 비밀유지—를 유지함을 입증한다.
• 부드러운 학습 문제에서의 출력 편향 분석을 수행하고, 명시적인 pDP 경계를 유도하며, 비밀유지가 리지지 수치와 한 개 제외 예측 정확도에 따라 달라짐을 드러낸다.
• pDP 프레임워크를 One-Posterior-Sample (OPS) 추정기에 적용하여, 데이터 행렬이 잘 조건화되어 있을 경우 어떤 대상 개인에 대해서도 $(\epsilon,\delta)$-pDP를 달성함을 증명한다.
• 적응형 정규화를 사용해 OPS와 동일한 pDP 보장을 달성하면서도 표준 $(\epsilon,\delta)$-DP를 보장하는 AdaOPS를 도입한다.
• 릿지 회귀에 대한 pDP의 명시적 계산을 통해, 리지지가 낮고 한 개 제외 모델에서 예측 정확도가 높은 개인일수록 더 강력한 비밀유지를 얻음을 보여준다.

실험 결과

연구 질문

• RQ1 모든 입력에 대해 균일한 것이 아니라 특정 데이터 세트와 개인에 따라 달라지는, 더 세밀한 차별적 비밀유지 개념을 정의할 수 있는가?
• RQ2 데이터가 i.i.d.일 경우 pDP는 일반화를 암시하는가? 그리고 표준 DP와의 관계는 어떠한가?
• RQ3 선형 및 릿지 회귀에서 개별적 DP 하에서 One-Posterior-Sample (OPS) 추정기의 비밀유지-유용성 트레이드오프는 무엇인가?
• RQ4 pDP에 대한 이론적 하한선은 실용적 추정기로 달성될 수 있는가? 그리고 OPS 추정기는 이 하한선과 얼마나 가까운가?
• RQ5 AdaOPS의 적응형 정규화는 표준 DP 메커니즘에 비해 비밀유지-유용성 트레이드오프를 어떻게 향상시키는가?

주요 결과

• 개별적 차별적 비밀유지(pDP)는 표준 DP의 стрict한 일반화이며, 각 데이터 인스턴스에 대해 개인적으로 적용될 경우 조합, 후처리 불변성, 군집 비밀유지와 같은 모든 유용한 성질을 그대로 상속받는다.
• 데이터가 i.i.d.일 경우 pDP는 일반화를 암시하며, 개인의 비밀유지와 통계적 학습 성능 간의 연결 고리를 제공한다.
• pDP 하에서 개인의 비밀유지는 리지지가 낮고 한 개 제외 데이터 세트를 사용해 더 정확하게 예측 가능할수록 더 강력하다.
• 조건이 잘 맞는 데이터에서 One-Posterior-Sample (OPS) 추정기는 어떤 대상 개인에 대해서도 $(\epsilon,\delta)$-pDP를 달성하며, 이론적 하한선에 비해 $1+\tilde{O}(n^{-1}\epsilon^{-2})$ 요소 내에서 일치한다.
• 적응형 정규화를 사용하는 AdaOPS는 OPS와 동일한 pDP 보장을 달성하면서도 표준 $(\epsilon,\delta)$-DP를 보장하며, 시뮬레이션 결과 데이터 세트의 개인에 대해 몇 개의 주요 차수만큼 더 뛰어난 비밀유지-유용성 트레이드오프를 제공한다.
• 릿지 회귀에 대한 명시적 pDP 계산 결과, 비밀유지는 개인 간으로 균일하지 않으며 데이터 특성에 따라 달라지며, 리지지와 예측 정확도와 같은 데이터 기반 성질에 따라 영향을 받는다.