[论文解读] Differential Privacy versus Quantitative Information Flow

Mário S. Alvim, Konstantinos Chatzikokolakis+2 more|arXiv (Cornell University)|Dec 20, 2010

Privacy-Preserving Technologies in Data参考文献 21被引用 15

一句话总结

本文通过信息论信道比较差分隐私与定量信息流，表明差分隐私严格强于互信息界——意味着更紧致的隐私保障。研究证明差分隐私界定了Rényi极小熵和香农互信息，但反之不成立，凸显了隐私强度的根本差异。

ABSTRACT

Differential privacy is a notion of privacy that has become very popular in the database community. Roughly, the idea is that a randomized query mechanism provides sufficient privacy protection if the ratio between the probabilities of two different entries to originate a certain answer is bound by e^ε. In the fields of anonymity and information flow there is a similar concern for controlling information leakage, i.e. limiting the possibility of inferring the secret information from the observables. In recent years, researchers have proposed to quantify the leakage in terms of the information-theoretic notion of mutual information. There are two main approaches that fall in this category: One based on Shannon entropy, and one based on Rényi's min entropy. The latter has connection with the so-called Bayes risk, which expresses the probability of guessing the secret. In this paper, we show how to model the query system in terms of an information-theoretic channel, and we compare the notion of differential privacy with that of mutual information. We show that the notion of differential privacy is strictly stronger, in the sense that it implies a bound on the mutual information, but not viceversa.

研究动机与目标

• 形式化数据库系统中差分隐私与定量信息流之间的关系。
• 探究差分隐私是否对香农互信息等信息论度量施加了界限。
• 确定逆命题是否成立：即互信息有界是否意味着差分隐私。
• 评估这些关系对随机查询机制中隐私保障的影响。
• 探讨较弱的隐私概念（如Rényi极小容量）是否可作为差分隐私的实用替代方案。

提出的方法

• 将数据库查询系统建模为具有敏感信息（X）和可观测量（Y）的信息论信道。
• 通过邻近数据库下任意输出概率之比有界于 $e^\epsilon$ 的条件来应用差分隐私。
• 利用香农熵和Rényi极小熵量化信息泄露，以计算互信息与信道容量。
• 推导理论界，表明 $\epsilon$-差分隐私意味着Rényi极小熵和香农互信息的上界。
• 构造反例（如示例2）以证明低互信息并不蕴含差分隐私。
• 分析极端情况（如小 $\beta$、大 $m$）下差分隐私参数的行为，表明即使容量较低，参数也可能无界。

实验结果

研究问题

• RQ1 是否 $\epsilon$-差分隐私在香农或Rényi极小熵意义下对互信息施加了界限？
• RQ2 逆命题是否成立：即有界互信息是否意味着 $\epsilon$-差分隐私？
• RQ3 当互信息较低但系统存在非对称泄露时，差分隐私参数如何表现？
• RQ4 Rényi极小容量能否作为差分隐私的可行替代隐私概念？
• RQ5 在信道行为上存在哪些结构性差异，使得差分隐私严格强于互信息界？

主要发现

• 差分隐私对香农互信息和Rényi极小熵互信息均施加了界限：对于 $\delta$-差分隐私，有 $I_\infty(X;Y) \leq 2\delta \log e$。
• 逆命题不成立：系统可具有低互信息（例如接近零容量），但仍违反差分隐私，如示例2所示。
• 在示例2中，当 $\beta \to 0$ 时，差分隐私参数变得无界（趋于无穷大），即使信道容量趋近于零。
• Rényi极小容量是一个合理的替代隐私概念，因为它界定了贝叶斯风险——即正确猜测敏感信息的概率。
• 差分隐私严格强于互信息界，因为它对所有输出和输入的似然比施加了统一的有界性。
• 即使整体泄露较低，只要存在某个输入在给定输出下后验概率极低，差分隐私仍可能失效。