[論文レビュー] Information-theoretic metrics for Local Differential Privacy protocols

Milan Lopuhaä-Zwakenberg, Boris Škorić+1 more|arXiv (Cornell University)|Oct 17, 2019

Privacy-Preserving Technologies in Data参考文献 54被引用数 14

ひとこと要約

本稿は、ローカル微分プライバシー（LDP）プロトコルにおけるユーティリティとプライバシーのための情報理論的指標を新たに導入し、ユーザーとアグリゲーターの視点の違いを明確にしている。ユーティリティは、アグリゲーターの出力と集団分布の間の相互情報量として形式化され、プライバシーはアグリゲーターへの情報漏洩として定義され、これらが標準的なε-LDP保証とどのように関係するかを示し、ユニタリーエンコーディングなどのプロトコルにおけるトレードオフの定量的分析を可能にする。

ABSTRACT

Local Differential Privacy (LDP) protocols allow an aggregator to obtain population statistics about sensitive data of a userbase, while protecting the privacy of the individual users. To understand the tradeoff between aggregator utility and user privacy, we introduce new information-theoretic metrics for utility and privacy. Contrary to other LDP metrics, these metrics highlight the fact that the users and the aggregator are interested in fundamentally different domains of information. We show how our metrics relate to $\varepsilon$-LDP, the \emph{de facto} standard privacy metric, giving an information-theoretic interpretation to the latter. Furthermore, we use our metrics to quantitatively study the privacy-utility tradeoff for a number of popular protocols.

研究の動機と目的

• LDPにおける既存のプライバシーとユーティリティ指標の限界を克服するため、ユーザーとアグリゲーターの異なる関心を反映する情報理論的代替指標を導入すること。
• ε-LDPの原理的で情報理論的な解釈を提供し、最悪ケースのプライバシー保証を平均ケースの情報漏洩に結びつけること。
• 相互情報量とエントロピーに基づく指標を用いて、代表的なLDPプロトコルにおけるプライバシーとユーティリティのトレードオフを定量的に評価可能にする。
• アグリゲーターの出力と基礎となる集団分布の間の相互情報量としてユーティリティを形式化し、特定の周波数オラクルによるバイアスを回避すること。
• 非情報的ジェフレーズ事前分布μを用いてアグリゲーターの事前知識をモデル化し、集団統計量のベイズ推定を可能にする。

提案手法

• アグリゲーターの出力$\vec{Y}$と集団分布$P$の間の相互情報量$\operatorname{I}(\vec{Y}; P)$として定義される、新たなユーティリティ指標$\operatorname{U}^{\text{distr}}_{n,\mu}(\mathcal{P})$を提案する。
• 情報漏洩に基づくプライバシー指標を定義し、ユーザーの真のデータとアグリゲーターの出力の間の相互情報量（集団統計量を条件とする）を測定する。
• アグリゲーターの非情報的事前知識をモデル化するため、集団分布$P$上の非情報的ジェフレーズ事前分布$\mu$を用い、ベイズ推定を可能にする。
• ユニタリーエンコーディング（UE）メカニズムにおいて、パラメータ$\kappa, \lambda$のもとで$\operatorname{I}(\vec{Y}; P)$の閉形式表現を、組合せ的和およびベータ関数を用いて導出する。
• 出力構成$\vec{Y}$の周辺尤度を計算する関数$F(s, \kappa, \lambda)$を導入し、すべての可能な中間状態$k$および$m^y$を統合する。
• すべての可能なユーザーの出力パターンとその確率的組み合わせを考慮して、ユーティリティ指標の計算の複雑さを$\mathcal{O}(n^{1+(a+1)2^{a-1}})$の上限として確立する。

実験結果

リサーチクエスチョン

• RQ1 LDPプロトコルにおけるユーティリティとプライバシーは、ユーザーとアグリゲーターの異なる関心を反映する情報理論的指標でどのように測定できるか？
• RQ2 標準的なε-LDP保証と、相互情報量で測定される平均ケースの情報漏洩との間の情報理論的関係は何か？
• RQ3 ユニタリーエンコーディングなどの異なるLDPプロトコルにおいて、アグリゲーターの出力と集団分布の間の相互情報量はどのように変化するか？
• RQ4 パラメータ$\kappa, \lambda$を有するユニタリーエンコーディングメカニズムにおいて、相互情報量$\operatorname{I}(\vec{Y}; P)$の閉形式表現を導出できるか？
• RQ5 すべての可能なユーザーの出力構成に対して、提案されたユーティリティ指標を評価する際の計算複雑度は何か？

主な発見

• 提案されたユーティリティ指標$\operatorname{U}^{\text{distr}}_{n,\mu}(\mathcal{P}) = \operatorname{I}(\vec{Y}; P)$は、ノイズの多い出力からアグリゲーターが集団分布について得る情報量を定量化する。
• 本稿は、ユニタリーエンコーディングメカニズムにおいて、すべての可能なユーザーの出力パターン$s$、中間カウント$k$、およびサブセット構成$m^y$についての和を含む、$\operatorname{I}(\vec{Y}; P)$の閉形式表現を導出する。
• 相互情報量$\operatorname{I}(\vec{Y}; P)$は、出力$\vec{Y}$のエントロピーと条件付きエントロピー$\operatorname{H}(\vec{Y}|P)$の差として表現され、両者とも組合せ的およびベータ関数に基づく表現で計算される。
• ユーティリティ指標の計算の複雑さは、$\mathcal{O}(n^{1+(a+1)2^{a-1}})$で上限づけられており、ユーザーの応答の構成数とその確率的集約を考慮している。
• 本フレームワークは、ε-LDPの原理的で情報理論的な解釈を提供し、ε-LDPが情報漏洩の最悪ケースの上限に対応することを示し、新しい指標が平均ケースの行動を捉えていることを示す。
• 結果は、入力と出力の間の相互情報量が、個々のユーザーからの情報を含むため、ユーティリティを過剰に評価しているのに対し、提案された指標は集団レベルの統計に関連する情報のみを分離していることを示している。