[논문 리뷰] Differential Privacy versus Quantitative Information Flow

Mário S. Alvim, Konstantinos Chatzikokolakis외 2명|arXiv (Cornell University)|2010. 12. 20.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 15

한 줄 요약

이 논문은 정보이론적 채널을 사용하여 미분적 비밀유지와 정량적 정보 흐름을 비교하며, 미분적 비밀유지가 상호정보량의 경계보다 엄격히 강력하다는 것을 보여주고 있다—이는 더 견고한 비밀유지 보장을 의미한다. 이 논문은 미분적 비밀유지가 레니 미니 상호정보량과 샤논 상호정보량을 둘 다 경계함을 증명하지만, 그 역은 성립하지 않으며, 이는 비밀유지 강도의 근본적인 차이를 드러낸다.

ABSTRACT

Differential privacy is a notion of privacy that has become very popular in the database community. Roughly, the idea is that a randomized query mechanism provides sufficient privacy protection if the ratio between the probabilities of two different entries to originate a certain answer is bound by e^ε. In the fields of anonymity and information flow there is a similar concern for controlling information leakage, i.e. limiting the possibility of inferring the secret information from the observables. In recent years, researchers have proposed to quantify the leakage in terms of the information-theoretic notion of mutual information. There are two main approaches that fall in this category: One based on Shannon entropy, and one based on Rényi's min entropy. The latter has connection with the so-called Bayes risk, which expresses the probability of guessing the secret. In this paper, we show how to model the query system in terms of an information-theoretic channel, and we compare the notion of differential privacy with that of mutual information. We show that the notion of differential privacy is strictly stronger, in the sense that it implies a bound on the mutual information, but not viceversa.

연구 동기 및 목표

• 데이터베이스 시스템에서 미분적 비밀유지와 정량적 정보 흐름의 관계를 체계화하기.
• 미분적 비밀유지가 샤논 엔트로피나 레니 미니 엔트로피와 같은 정보이론적 측정법인 상호정보량에 대한 경계를 유도하는지 조사하기.
• 반대로, 상호정보량을 경계하는 것이 미분적 비밀유지를 유도하는지 여부를 판단하기.
• 이러한 관계가 랜덤화된 쿼리 메커니즘에서의 비밀유지 보장에 미치는 영향을 평가하기.
• 레니 미니 용량과 같은 더 약한 비밀유지 개념이 미분적 비밀유지의 실용적 대안이 될 수 있는지 탐색하기.

제안 방법

• 기본 테이블 쿼리 시스템을 비밀(𝑋)과 관측 가능 변수(𝑌)를 갖는 정보이론적 채널로 모델링하기.
• 이웃하는 데이터베이스에서 어떤 출력의 확률 비율이 항상 $e^\epsilon$ 이내로 제한되는 조건을 통해 미분적 비밀유이 적용하기.
• 샤논 엔트로피와 레니 미니 엔트로피를 사용하여 상호정보량과 채널 용량을 계산함으로써 정보 泄露 정도를 정량화하기.
• 이론적 경계를 도출하여 $\epsilon$-미분적 비밀유지가 레니 미니 상호정보량과 샤논 상호정보량 둘 다 상한을 유도함을 보여주기.
• 예를 들어, 예제 2를 통해 상호정보량이 낮다고 해도 미분적 비밀유지를 위반할 수 있음을 보여주는 반례를 구성하기.
• 극단적인 경우(예: 작은 $\beta$, 큰 $m$)에서의 미분적 비밀유지 파rameter의 행동을 분석하여, 용량이 낮음에도 불구하고 경계가 없음을 보여주기.

실험 결과

연구 질문

• RQ1 $\epsilon$-미분적 비밀유지가 샤논 또는 레니 미니 엔트로피 관점에서 상호정보량에 대한 경계를 유도하는가?
• RQ2 반대로, 경계가 있는 상호정보량이 $\epsilon$-미분적 비밀유지를 유도하는가?
• RQ3 상호정보량이 낮지만 시스템의 비대칭적 泄露가 있는 경우, 미분적 비밀유지 파rameter는 어떻게 행동하는가?
• RQ4 레니 미니 용량이 미분적 비밀유지의 실용적 대안으로서 타당한 비밀유지 개념이 될 수 있는가?
• RQ5 왜 미분적 비밀유지는 상호정보량 경계보다 엄격히 강력한가? 채널 행동의 구조적 차이가 무엇인가?

주요 결과

• 미분적 비밀유지는 샤논 및 레니 미니 상호정보량 둘 다 경계함: $\delta$-미분적 비밀유지의 경우 $I_\infty(X;Y) \leq 2\delta \log e$.
• 반대는 성립하지 않음: 예를 들어, 예제 2에서 볼 수 있듯이, 상호정보량이 낮을 수 있음(용량이 거의 0에 수렴)에도 불구하고, 미분적 비밀유지를 위반할 수 있음.
• 예제 2에서 $\beta \to 0$이면, 미분적 비밀유지 파rameter는 무한대 방향으로 발산함(무한히 커짐)에도 불구하고, 채널 용량은 0에 수렴함.
• 레니 미니 용량은 실용적인 대안 비밀유지 개념으로 타당한데, 이는 베이즈 위험—즉, 비밀을 정확히 추측할 확률—을 경계하기 때문임.
• 미분적 비밀유지는 상호정보량 경계보다 엄격히 강력한데, 이는 모든 출력과 입력에 대해 가능도 비율에 균일한 경계를 부과하기 때문이다.
• 특정 입력이 어떤 출력을 관측했을 때 후행 확률이 매우 낮아지는 경우, 전체 유출이 낮더라도 미분적 비밀유지가 실패할 수 있음.