[论文解读] Differentially Private Assouad, Fano, and Le Cam

Jayadev Acharya, Ziteng Sun+1 more|arXiv (Cornell University)|Apr 14, 2020

Privacy-Preserving Technologies in Data参考文献 58被引用 7

一句话总结

本文提出了经典统计下界技术——阿苏阿德引理、法诺不等式和勒卡姆方法——的差分隐私版本，使得私有估计的紧致样本复杂度界成为可能。该文建立了在总变差距离和 ℓ₂ 距离下对离散分布估计的最优样本复杂度，并利用基于耦合的隐私约束分析，为乘积分布和高斯混合模型提供了紧致的下界（对数因子内），实现了私有分布估计中的最优样本复杂度。

ABSTRACT

Le Cam's method, Fano's inequality, and Assouad's lemma are three widely used techniques to prove lower bounds for statistical estimation tasks. We propose their analogues under central differential privacy. Our results are simple, easy to apply and we use them to establish sample complexity bounds in several estimation tasks. We establish the optimal sample complexity of discrete distribution estimation under total variation distance and $\ell_2$ distance. We also provide lower bounds for several other distribution classes, including product distributions and Gaussian mixtures that are tight up to logarithmic factors. The technical component of our paper relates coupling between distributions to the sample complexity of estimation under differential privacy.

研究动机与目标

• 将经典的统计下界技术——阿苏阿德引理、法诺不等式和勒卡姆方法——扩展至差分隐私设置。
• 在总变差距离和 ℓ₂ 距离下，为离散分布的私有估计建立紧致的样本复杂度界。
• 为结构化分布类（如乘积分布和高斯混合模型）在差分隐私下推导下界。
• 形式化建立分布耦合与差分私有估计中样本复杂度之间的联系。
• 提出一个通用框架，通过隐私感知耦合与假设检验约化，证明 (ε,δ)-差分隐私下的极小化最大下界。

提出的方法

• 通过将估计误差与在隐私约束下识别参数向量各个比特的误差相关联，提出阿苏阿德引理的差分隐私版本。
• 通过分析私有查询与真实参数之间的互信息，将法诺不等式适配于差分隐私，利用隐私保护耦合来界定误差概率。
• 通过将估计问题约化为差分隐私下的二元假设检验，开发勒卡姆方法的私有变体，利用隐私感知耦合来界定检验误差。
• 利用分布之间的耦合，将隐私约束与可实现的最小估计误差联系起来，表明成功的耦合意味着样本复杂度的下界。
• 应用私有法诺与阿苏阿德下界，为离散分布估计、乘积分布和高斯混合模型推导出紧致的样本复杂度下界。
• 采用吉尔伯特-瓦什拉莫夫界构造私有编码，并证明良好私有估计器的存在性，以支持下界构造。

实验结果

研究问题

• RQ1 在差分隐私下，阿苏阿德引理、法诺不等式和勒卡姆方法的类比形式是什么？它们与非私有版本有何不同？
• RQ2 在 (ε,δ)-差分隐私下，对总变差距离和 ℓ₂ 距离下离散分布估计的最优样本复杂度是多少？
• RQ3 隐私约束如何影响估计任务中的极小化最大风险？基于耦合的技术能否精确捕捉这一影响？
• RQ4 所提出的这些不等式的私有版本能否为乘积分布和高斯混合模型等结构化分布类提供紧致的下界？
• RQ5 隐私感知耦合在推导私有估计的样本复杂度下界中起什么作用？

主要发现

• 本文在 (ε,δ)-差分隐私下，为总变差距离下的离散分布估计建立了最优样本复杂度，与已知上界一致。
• 对于 ℓ₂ 距离，本文推导出的下界与最佳已知上界仅相差对数因子。
• 私有阿苏阿德引理给出了如下形式的下界：R(P,ℓ,ε,δ) ≥ (kτ/2)(0.9e^(-10εD) - 10Dδ)，将估计误差与隐私参数联系起来。
• 通过使用私有法诺不等式，证明了在 (ε,δ)-DP 下，离散分布估计的样本复杂度为 Ω(k/ε)，与已知上界一致。
• 对于乘积分布和高斯混合模型，本文提供了在对数因子内紧致的下界，展示了所提框架的强大能力。
• 结果通过一种新颖的基于耦合的分析推导得出，该分析将隐私约束与分布可区分性直接关联，从而实现紧致的极小化最大下界。