[论文解读] On Perfect Privacy and Maximal Correlation

Borzoo Rassouli, Denız Gündüz|arXiv (Cornell University)|Dec 22, 2017

Privacy-Preserving Technologies in Data参考文献 19被引用 11

一句话总结

本文通过形式化在确保关于隐私变量 X 的信息泄露为零的前提下可实现的最大效用（通过互信息或误差度量），研究了信息披露中的完美隐私。研究表明，在完美隐私约束下，最优披露可通过线性规划求解，并建立了与最大相关性及高斯设定的联系，其中隐私依赖于编码器对 X 和 Y 的访问。

ABSTRACT

The problem of private data disclosure is studied from an information theoretic perspective. Considering a pair of correlated random variables $(X,Y)$, where $Y$ denotes the observed data while $X$ denotes the private latent variables, the following problem is addressed: What is the maximum information that can be revealed about $Y$, while disclosing no information about $X$? Assuming that a Markov kernel maps $Y$ to the revealed information $U$, it is shown that the maximum mutual information between $Y$ and $U$, i.e., $I(Y;U)$, can be obtained as the solution of a standard linear program, when $X$ and $U$ are required to be independent, called extit{perfect privacy}. This solution is shown to be greater than or equal to the extit{non-private information about $X$ carried by $Y$.} Maximal information disclosure under perfect privacy is is shown to be the solution of a linear program also when the utility is measured by the reduction in the mean square error, $\mathbb{E}[(Y-U)^2]$, or the probability of error, $\mbox{Pr}\{Y eq U\}$. For jointly Gaussian $(X,Y)$, it is shown that perfect privacy is not possible if the kernel is applied to only $Y$; whereas perfect privacy can be achieved if the mapping is from both $X$ and $Y$; that is, if the private latent variables can also be observed at the encoder. Next, measuring the utility and privacy by $I(Y;U)$ and $I(X;U)$, respectively, the slope of the optimal utility-privacy trade-off curve is studied when $I(X;U)=0$. Finally, through a similar but independent analysis, an alternative characterization of the maximal correlation between two random variables is provided.

研究动机与目标

• 确定在不泄露关于隐私隐变量 X 的任何信息的前提下，可披露关于观测数据 Y 的最大信息量。
• 在完美隐私约束（即 I(X;U) = 0）下，形式化效用-隐私权衡问题。
• 分析当效用以互信息、均方误差或分类误差衡量时的最优披露机制。
• 研究当映射仅依赖于 Y 与同时依赖 X 和 Y 时，完美隐私可实现的条件。
• 通过独立分析，提出两个随机变量之间最大相关性的新表征。

提出的方法

• 将完美隐私问题形式化为线性规划，以在 I(X;U) = 0 的约束下最大化 I(Y;U)。
• 使用从 Y 映射到披露数据 U 的马尔可夫核来建模披露机制。
• 将最优解表示为标准线性规划的解，从而可计算在零隐私泄露下的最大效用。
• 分析 (X,Y) 联合高斯的情形，表明当编码器仅观测到 Y 时，完美隐私不可行。
• 考虑超越互信息的效用度量，包括均方误差 E[(Y−U)²] 和分类误差 Pr{Y≠U}，并证明这些情形同样可转化为可解的线性规划。
• 通过对偶分析框架，提供最大相关性在 X 和 Y 之间的替代表征。

实验结果

研究问题

• RQ1 当 X 和 U 必须相互独立（即在完美隐私下）时，可实现的最大互信息 I(Y;U) 是多少？
• RQ2 当编码器仅拥有 Y 的访问权限与同时拥有 X 和 Y 的访问权限时，最优披露机制如何变化？
• RQ3 当映射仅应用于 Y 时，能否在高斯情形下实现完美隐私？
• RQ4 当通过 I(X;U)=0 强制实施隐私时，最优效用-隐私权衡曲线的结构是怎样的？
• RQ5 X 和 Y 之间的最大相关性如何与完美隐私及效用最大化问题相关联？

主要发现

• 在完美隐私约束下，最大互信息 I(Y;U) 是标准线性规划的解，其值始终至少等于 Y 所携带的关于 X 的非隐私信息量。
• 对于联合高斯分布 (X,Y)，若编码器仅观测到 Y，则完美隐私不可行；仅当编码器同时拥有 X 和 Y 时，才可能实现完美隐私。
• 当效用以均方误差或分类误差衡量时，完美隐私下的最优披露同样由线性规划刻画。
• 在完美隐私点（I(X;U)=0）处，最优效用-隐私权衡曲线的斜率可被解析表征。
• 通过独立的信息论分析，推导出 X 和 Y 之间最大相关性的替代表征。
• 在完美隐私下，解始终可行且有界；当编码器未观测到 X 时，最优 U 仅为 Y 的函数。