[論文レビュー] On Perfect Privacy and Maximal Correlation

Borzoo Rassouli, Denız Gündüz|arXiv (Cornell University)|Dec 22, 2017

Privacy-Preserving Technologies in Data参考文献 19被引用数 11

ひとこと要約

本稿は、公開データUからプライベート変数Xに関する情報漏洩がゼロであることを保証する条件下で、最大のユーティリティ（相互情報量または誤差指標を用いて定式化）を達成できるかを検討する。完全プライバシー下での最適な公開は線形計画法により解けることが示され、最大相関およびガウス設定における関係が明らかになる。ここでプライバシーはエンコーダがXとYの両方の情報を得られる場合に依存する。

ABSTRACT

The problem of private data disclosure is studied from an information theoretic perspective. Considering a pair of correlated random variables $(X,Y)$, where $Y$ denotes the observed data while $X$ denotes the private latent variables, the following problem is addressed: What is the maximum information that can be revealed about $Y$, while disclosing no information about $X$? Assuming that a Markov kernel maps $Y$ to the revealed information $U$, it is shown that the maximum mutual information between $Y$ and $U$, i.e., $I(Y;U)$, can be obtained as the solution of a standard linear program, when $X$ and $U$ are required to be independent, called extit{perfect privacy}. This solution is shown to be greater than or equal to the extit{non-private information about $X$ carried by $Y$.} Maximal information disclosure under perfect privacy is is shown to be the solution of a linear program also when the utility is measured by the reduction in the mean square error, $\mathbb{E}[(Y-U)^2]$, or the probability of error, $\mbox{Pr}\{Y eq U\}$. For jointly Gaussian $(X,Y)$, it is shown that perfect privacy is not possible if the kernel is applied to only $Y$; whereas perfect privacy can be achieved if the mapping is from both $X$ and $Y$; that is, if the private latent variables can also be observed at the encoder. Next, measuring the utility and privacy by $I(Y;U)$ and $I(X;U)$, respectively, the slope of the optimal utility-privacy trade-off curve is studied when $I(X;U)=0$. Finally, through a similar but independent analysis, an alternative characterization of the maximal correlation between two random variables is provided.

研究の動機と目的

• 観測データYに関する最大限の情報量を、プライベートな潜在変数Xに関する情報漏洩を一切行わない条件で公開できるかを特定すること。
• 完全プライバシー（I(X;U) = 0）の制約下でのユーティリティ-プライバシーのトレードオフを形式化すること。
• 相互情報量、平均二乗誤差、分類誤差で測定されるユーティリティの下での最適な公開メカニズムを分析すること。
• マッピングがYのみに依存する場合とXとYの両方に依存する場合の間で、完全プライバシーが達成可能かどうかの条件を調査すること。
• 独立な解析フレームワークを用いて、2つの確率変数間の最大相関の新たな特徴づけを提供すること。

提案手法

• 完全プライバシー問題を、I(X;U) = 0 の制約下で I(Y;U) を最大化する線形計画問題として定式化する。
• Yから公開データUへのマルコフカーネルを用いて、公開メカニズムをモデル化する。
• 最適解が標準的な線形計画問題の解として得られることを示し、ゼロのプライバシー漏洩下での最大ユーティリティの計算が可能になる。
• 共通ガウス分布に従う(X,Y)のケースを分析し、エンコーダがYのみを観測している場合、完全プライバシーは達成不可能であることを示す。
• 相互情報量を超えるユーティリティ指標（平均二乗誤差 E[(Y−U)²] や分類誤差 Pr{Y≠U}）を検討し、これらも線形計画問題として解けることを示す。
• 双対解析フレームワークを用いて、XとYの間の最大相関の代替的特徴づけを提供する。

実験結果

リサーチクエスチョン

• RQ1 XとUが独立である、すなわち完全プライバシー下で達成可能な最大相互情報量 I(Y;U) は何か？
• RQ2 エンコーダがXとYの両方の情報を得られる場合とYのみの情報しか得られない場合とで、最適な公開メカニズムはどのように変化するか？
• RQ3 マッピングがYにのみ適用される場合、ガウス分布下で完全プライバシーは達成可能か？
• RQ4 プライバシーが I(X;U)=0 によって強制される場合、最適なユーティリティ-プライバシーのトレードオフ曲線の構造は何か？
• RQ5 XとYの最大相関は、完全プライバシーおよびユーティリティ最大化の問題とどのように関係するか？

主な発見

• 完全プライバシー下での最大相互情報量 I(Y;U) は、常に少なくともXに関するYの非プライベート情報量以上である標準線形計画問題の解として得られる。
• 共通ガウス分布に従う(X,Y)の場合、エンコーダがYのみを観測している限り、完全プライバシーは達成不可能である。エンコーダがXとYの両方の情報を得られることで、初めて可能となる。
• 平均二乗誤差や分類誤差で測定されるユーティリティの下でも、完全プライバシー下での最適な公開は線形計画問題として特徴づけられる。
• 完全プライバシー点（I(X;U)=0）における最適ユーティリティ-プライバシーのトレードオフ曲線の勾配が解析的に特徴づけられる。
• 独立な情報理論的解析を用いて、XとYの最大相関の代替的特徴づけが導出される。
• 完全プライバシー下での解は常に実行可能かつ有界であり、Xがエンコーダで観測されない場合には最適なUはYの関数としてのみ得られる。