[논문 리뷰] On the Tradeoff between Privacy and Distortion in Differential Privacy.

Weina Wang, Lei Ying외 1명|arXiv (Cornell University)|2014. 02. 16.

Privacy-Preserving Technologies in Data참고 문헌 5인용 수 5

한 줄 요약

이 논문은 새로운 사후 차별적 비밀유지 프레임워크를 도입하여, 차별적 비밀유지 합성 데이터베이스 생성에서 기본적인 비밀유지-왜곡 트레이드오프를 규명한다. 이는 주어진 왜곡 제약 하에서 달성 가능한 최소 차별적 비밀유지 수준을 측정하는 비밀유지-왜곡 함수 ∗(D)를 제안한다. 또한 계산적으로 효율적인 메커니즘 E를 제안하며, 균일한 사전 분포 하에서 최적성을 확보하고, 새로운 사후 차별적 비밀유지 개념을 통해 비밀유지-왜곡 이론과 정보이론적 비율-왜곡 이론 간 깊은 연결을 드러낸다.

ABSTRACT

In this paper, we consider the setting in which the output of a differentially private mechanism is in the same universe as the input, and investigate the usefulness in terms of (the negative of) the distortion between the output and the input. This setting can be regarded as the synthetic database release problem. We define a privacy–distortion function ∗(D), which is the smallest (best) achievable differential privacy level given a distortion upper bound D, and quantify the fundamental privacy–distortion tradeoff by characterizing ∗. Specifically, we first obtain an upper bound on ∗ by designing a mechanism E. Then we derive a lower bound on ∗ that deviates from the upper bound only by a constant. It turns out that E is an optimal mechanism when the database is drawn uniformly from the universe, i.e., the upper bound and the lower bound meet. A significant advantage of mechanism E is that its distortion guarantee does not depend on the prior and its implementation is computationally efficient, although it may not be optimal always. From a learning perspective, we further introduce a new notion of differential privacy that is defined on the posterior probabilities, which we call a posteriori differential privacy. Under this notion, the exact form of the privacy–distortion function is obtained for a wide range of distortion values. We then establish a fundamental connection between the privacy–distortion tradeoff and the information-theoretic rate–distortion theory. An interesting finding is that there exists a consistency between the rate– distortion and the privacy–distortion under a posteriori differential privacy, which is shown by devising a mechanism that minimizes the mutual information and the privacy level simultaneously. 1

연구 동기 및 목표

• 합성 데이터베이스 배포에서 차별적 비밀유지와 왜곡 간의 기본 트레이드오프를 규명하는 것.
• 주어진 왜곡 한계 하에서 달성 가능한 최소 비밀유지 수준을 캡처하는 비밀유지-왜곡 함수 ∗(D)를 정의하고 분석하는 것.
• 저비용의 계산 비용과 사전 독립적인 왜곡 보장을 갖는 near-최적의 비밀유지-왜곡 트레이드오프를 달성하는 메커니즘 E를 설계하는 것.
• 비밀유지-왜곡 이론과 정보이론적 비율-왜곡 이론 간 이론적 연결을 수립하는 것.
• 정확한 비밀유지-왜곡 함수의 특성화를 가능하게 하는 새로운 개념인 사후 차별적 비밀유지의 정의와 분석을 수행하는 것.

제안 방법

• 비밀유지-왜곡 함수 ∗(D)는 왜곡 제약 D 하에서 달성 가능한 최소 차별적 비밀유지 수준으로 정의된다.
• 왜곡이 데이터 사전에 의존하지 않는 메커니즘 E가 ∗(D)에 대한 상한을 제공하도록 구성된다.
• ∗(D)에 대한 하한이 유도되며, 상한과 하한 간 격차가 최대 상수 요소 이내임을 보여준다.
• 데이터베이스가 유니버스 전역에서 균일하게 분포되어 있을 경우 메커니즘 E가 최적임을 증명한다.
• 기존의 데이터 분포가 아닌 사후 확률에 기반한 새로운 비밀유지 개념인 사후 차별적 비밀유지가 도입된다.
• 비밀유지-왜곡 이론과 비율-왜곡 이론 간의 연결이 정형화되며, 상호정보량과 비밀유지 수준을 동시에 최소화하는 메커니즘이 제시된다.

실험 결과

연구 질문

• RQ1 합성 데이터베이스 생성에서 차별적 비밀유지와 왜곡 간의 기본 트레이드오프는 무엇인가?
• RQ2 데이터 사전에 의존하지 않는 왜곡 보장을 갖는 차별적 비밀유지 메커니즘을 설계할 수 있는가?
• RQ3 비밀유지-왜곡 트레이드오프는 고전적 비율-왜곡 이론과 어떻게 관련이 있는가?
• RQ4 제안된 메커니즘 E가 최적일 조건은 무엇인가?
• RQ5 새로운 비밀유지 개념인 사후 차별적 비밀유지는 비밀유지-왜곡 함수의 정확한 특성화를 가능하게 하는가?

주요 결과

• 메커니즘 E는 상한과 하한 간 격차가 상수 요소 이내로, near-최적의 비밀유지-왜곡 트레이드오프를 달성한다.
• 데이터베이스가 유니버스 전역에서 균일하게 분포되어 있을 경우 메커니즘 E는 최적임을 확인하여 이 설정에서의 이론적 최적성을 입증한다.
• 메커니즘 E의 왜곡 보장은 데이터 사전에 의존하지 않아 다양한 데이터 분포에 걸쳐 강건함을 보인다.
• 새로운 사후 차별적 비밀유지 프레임워크 하에서 비율-왜곡 이론과 비밀유지-왜곡 이론 간 일관성이 확립된다.
• 상호정보량과 차별적 비밀유지 수준을 동시에 최소화하는 메커니즘이 구축되어 정보이론적 측정과 비밀유지 측정 간의 밀접한 연결을 보여준다.
• 사후 차별적 비밀유지 하에서 다양한 왜곡 값 범위에 대해 비밀유지-왜곡 함수 ∗(D)가 정확히 특성화된다.