[论文解读] Hypothesis Testing in the High Privacy Limit

Jiachun Liao, Lalitha Sankar+2 more|arXiv (Cornell University)|Jul 2, 2016

Wireless Communication Security Techniques参考文献 6被引用 3

一句话总结

本文提出了一种欧几里得信息论（E-IT）近似方法，用于在基于互信息的隐私约束下，优化二元假设检验中的隐私保护随机化机制。结果表明，在高隐私场景下，最优机制与字母表大小无关，通过最大程度地扰动统计上不太可能的源符号来保护隐私，从而在最小化泄露的同时最大化效用，适用于两种源分布。

ABSTRACT

Binary hypothesis testing under the Neyman-Pearson formalism is a statistical inference framework for distinguishing data generated by two different source distributions. Privacy restrictions may require the curator of the data or the data respondents themselves to share data with the test only after applying a randomizing privacy mechanism. Using mutual information as the privacy metric and the relative entropy between the two distributions of the output (postrandomization) source classes as the utility metric (motivated by the Chernoff-Stein Lemma), this work focuses on finding an optimal mechanism that maximizes the chosen utility function while ensuring that the mutual information based leakage for both source distributions is bounded. Focusing on the high privacy regime, an Euclidean information-theoretic (E-IT) approximation to the tradeoff problem is presented. It is shown that the solution to the E-IT approximation is independent of the alphabet size and clarifies that a mutual information based privacy metric preserves the privacy of the source symbols in inverse proportion to their likelihood.

研究动机与目标

• 设计一种隐私机制，以在约束互信息泄露的前提下，最大化统计效用（输出分布之间的相对熵）。
• 通过在高隐私场景下对精确的效用-隐私权衡问题进行近似，解决其NP难的性质。
• 证明E-IT近似可获得与字母表大小无关的闭式解。
• 阐明基于互信息的隐私度量如何按与符号出现概率的倒数成比例的方式保护源符号。

提出的方法

• 在高隐私场景下，使用欧几里得信息论（E-IT）近似相对熵和互信息函数。
• 通过在接近完美隐私的机制附近对效用和隐私约束进行线性化，推导出一个凸优化问题。
• 应用对角矩阵变换，利用先验分布的平方根和均匀加权向量，以简化近似。
• 求解所得的凸规划，获得一种基于扰动的隐私机制，实现效用与泄露之间的平衡。
• 通过在不同隐私场景下使用多组伯努利分布进行数值验证，评估近似的准确性。
• 以切尔诺夫-斯坦因引理为动机，采用相对熵作为效用度量。

实验结果

研究问题

• RQ1 在高隐私场景下，如何对二元假设检验中的效用-隐私权衡进行近似？
• RQ2 在基于互信息的泄露约束下，最优隐私机制的结构是什么？
• RQ3 E-IT近似是否能获得与输入字母表大小无关的解？
• RQ4 隐私机制如何根据源符号的出现概率分布其扰动？
• RQ5 对于不同的源分布对，E-IT近似在何种场景下具有足够的准确性？

主要发现

• 当统计泄露低于两种源分布最小熵的0.5%时，E-IT近似在高隐私场景下具有高度准确性。
• 对于均接近均匀分布，或彼此间以及与均匀分布相距较远的分布对，该近似在更宽的泄露范围内表现良好。
• 由E-IT近似导出的最优机制与字母表大小无关，从而简化了不同类型数据的机制设计。
• 该机制对最不可能的源符号施加最大的扰动，从而保护了最易受推理攻击影响的符号。
• 在所有测试的分布对中，E-IT解的相对熵（效用）与真实最优解几乎完全一致，尤其在高隐私场景下。
• 即使在高隐私场景下，仍可实现正的误差指数，尽管样本复杂度较高，表明在中等偏差下仍具可行性。