[論文レビュー] Differential Privacy versus Quantitative Information Flow

Mário S. Alvim, Konstantinos Chatzikokolakis+2 more|arXiv (Cornell University)|Dec 20, 2010

Privacy-Preserving Technologies in Data参考文献 21被引用数 15

ひとこと要約

この論文は、情報理論的チャネルを用いて微分プライバシーと定量的情報フローを比較し、微分プライバシーが相互情報量の境界よりも厳密に強いことを示している—これは、より厳しいプライバシー保証を意味する。微分プライバシーがRényi最小相互情報量およびシャノン相互情報量を上限で抑えられることを証明したが、逆は成り立たない。これは、プライバシー強度における根本的な違いを示している。

ABSTRACT

Differential privacy is a notion of privacy that has become very popular in the database community. Roughly, the idea is that a randomized query mechanism provides sufficient privacy protection if the ratio between the probabilities of two different entries to originate a certain answer is bound by e^ε. In the fields of anonymity and information flow there is a similar concern for controlling information leakage, i.e. limiting the possibility of inferring the secret information from the observables. In recent years, researchers have proposed to quantify the leakage in terms of the information-theoretic notion of mutual information. There are two main approaches that fall in this category: One based on Shannon entropy, and one based on Rényi's min entropy. The latter has connection with the so-called Bayes risk, which expresses the probability of guessing the secret. In this paper, we show how to model the query system in terms of an information-theoretic channel, and we compare the notion of differential privacy with that of mutual information. We show that the notion of differential privacy is strictly stronger, in the sense that it implies a bound on the mutual information, but not viceversa.

研究の動機と目的

• データベースシステムにおける微分プライバシーと定量的情報フローの関係を形式化すること。
• 微分プライバシーが、相互情報量のような情報理論的測度に上限をもたらすかどうかを調査すること。
• 逆に、相互情報量を上限で抑えれば、微分プライバシーが成立するかどうかを特定すること。
• これらの関係が、確率的クエリメカニズムにおけるプライバシー保証に与える影響を評価すること。
• Rényi最小容量のような、より弱いプライバシーの概念が、微分プライバシーの実用的代替手段として機能するかどうかを検討すること。

提案手法

• データベースクエリシステムを、秘密（X）と観測可能量（Y）を持つ情報理論的チャネルとしてモデル化する。
• 隣接するデータベースにおける任意の出力の確率比が $e^\epsilon$ で有界であるという条件により、微分プライバシーを適用する。
• シャノンエントロピーとRényi最小エントロピーを用いて、相互情報量とチャネル容量を計算することで、情報漏洩を測定する。
• 理論的境界を導出し、$\epsilon$-微分プライバシーがRényi最小相互情報量およびシャノン相互情報量の両方の上界をもたらすことを示す。
• 例（例2など）を用いて、低相互情報量が微分プライバシーを意味しないことを示す反例を構築する。
• 極端な状況（例：$\beta$ が小さい、$m$ が大きい）における微分プライバシーのパラメータの振る舞いを分析し、容量が低くても無限大に発散する可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 $\epsilon$-微分プライバシーは、シャノンまたはRényi最小エントロピーの意味で相互情報量に上限をもたらすか？
• RQ2 逆は成り立つか：上限がつけられた相互情報量は、$\epsilon$-微分プライバシーを意味するか？
• RQ3 相互情報量が低いが、システムに非対称な漏洩がある場合、微分プライバシーのパラメータはどのように振る舞うか？
• RQ4 Rényi最小容量は、微分プライバシーの代替プライバシー概念として実用的か？
• RQ5 微分プライバシーが相互情報量の境界よりも厳密に強い理由となる、チャネル行動における構造的差異は何か？

主な発見

• 微分プライバシーは、シャノンおよびRényi最小相互情報量の両方の上限をもたらす：$I_\infty(X;Y) \leq 2\delta \log e$（$\delta$-微分プライバシーの場合）。
• 逆は成り立たない：例2で示されるように、相互情報量が低く（容量がほぼゼロに近い）、微分プライバシーに違反するシステムが存在しうる。
• 例2では、$\beta \to 0$ のとき、微分プライバシーのパラメータは無限大に発散するが、チャネル容量はゼロに近づく。
• Rényi最小容量は、ベイズリスク（秘密を正しく推測する確率）を抑えられるため、実用的代替プライバシー概念として妥当である。
• 微分プライバシーは、すべての出力と入力に対して一様に尤度比に上限を設けるため、相互情報量の境界よりも厳密に強い。
• ある入力が特定の出力に対して非常に低い後騒確率を持つ場合、全体の漏洩が低くても微分プライバシーが失敗することがある。