[论文解读] Element Level Differential Privacy: The Right Granularity of Privacy

Hilal Asi, John C. Duchi+1 more|arXiv (Cornell University)|Dec 5, 2019

Privacy-Preserving Technologies in Data参考文献 42被引用 9

一句话总结

本文提出了元素级差分隐私（ELDP），一种更精细的隐私定义，可保护单个数据元素（如消息中的特定词语或图片中的特定内容）而非整个用户贡献。通过基于元素级差异重新定义邻近数据集，ELDP 在保持严格隐私保证的同时，提升了统计估计与学习任务的实用性，已在大规模模型（包括深度网络）上通过私有直方图估计与M-估计进行了理论与实证验证。

ABSTRACT

Differential Privacy (DP) provides strong guarantees on the risk of compromising a user's data in statistical learning applications, though these strong protections make learning challenging and may be too stringent for some use cases. To address this, we propose element level differential privacy, which extends differential privacy to provide protection against leaking information about any particular "element" a user has, allowing better utility and more robust results than classical DP. By carefully choosing these "elements," it is possible to provide privacy protections at a desired granularity. We provide definitions, associated privacy guarantees, and analysis to identify the tradeoffs with the new definition; we also develop several private estimation and learning methodologies, providing careful examples for item frequency and M-estimation (empirical risk minimization) with concomitant privacy and utility analysis. We complement our theoretical and methodological advances with several real-world applications, estimating histograms and fitting several large-scale prediction models, including deep networks.

研究动机与目标

• 解决经典差分隐私的局限性：其保护整个用户贡献，但在仅部分数据元素敏感的应用中可能过于严格。
• 提出一种新的隐私定义——元素级差分隐私，提供对单个数据元素（如用户是否输入过特定词语）推断的防护，而非对用户参与的防护。
• 通过放松非敏感数据元素的隐私约束，同时在敏感元素上保持强保证，提升私有学习与估计任务的统计实用性。
• 建立ELDP下私有估计与学习的理论基础与实用算法，涵盖项目频率与M-估计（经验风险最小化）。
• 通过真实世界应用实证验证该方法，包括大规模直方图估计与使用私有优化训练深度神经网络。

提出的方法

• 通过基于数据元素间汉明距离（如消息中的词频）重新定义邻近数据集，提出元素级差分隐私，其中两个数据集若在至多一个元素上不同则为邻近。
• 基于用户数据间不同元素数量的差异，引入用户数据上的距离函数，实现元素级而非用户级的隐私保证。
• 开发基于元素级隐私预算校准的噪声注入方法，用于项目频率的私有估计（如词频直方图估计）。
• 设计将噪声注入梯度更新的私有M-估计算法，结合ELDP框架分析其隐私与实用性。
• 应用ELDP框架，使用元素级隐私计数方法，通过差分隐私随机梯度下降训练大规模模型（包括深度神经网络）。
• 利用集中极限不等式与鞅论证，界定私有估计器的期望误差，证明在隐私参数与数据分布满足适当条件时的收敛性。

实验结果

研究问题

• RQ1 如何重新定义差分隐私，以保护单个数据元素（如特定词语或图像）而非整个用户贡献？
• RQ2 与经典差分隐私相比，元素级差分隐私的理论隐私保证与实用权衡为何？
• RQ3 如何在元素级差分隐私框架下设计适用于实际应用的私有估计与学习算法？
• RQ4 元素级隐私对私有学习算法的样本复杂度与收敛性有何影响，特别是在高维设置下？
• RQ5 元素级差分隐私在真实世界应用（如私有直方图估计与训练深度神经网络）中的表现如何？

主要发现

• 元素级差分隐私在比经典差分隐私更细粒度的粒度上提供有意义的隐私保证，可防范对特定数据元素（如用户是否曾输入某词语）的推断。
• 所提框架显著提升了私有估计任务的统计实用性，因隐私预算不再被浪费在保护整个用户贡献上，而仅用于敏感元素。
• 在ELDP下进行的私有直方图估计相比经典DP，噪声更低，频率估计更准确，尤其当不同元素数量相对于用户数较大时。
• 在ELDP下进行的私有M-估计与深度学习表明，使用比经典DP更宽松的隐私参数，模型仍能实现具有竞争力的性能，显著降低模型准确率的下降。
• 理论分析表明，ELDP下私有估计器的期望误差衰减速率取决于元素数量与隐私参数，在损失函数满足温和矩条件时可建立收敛性。
• 在大规模数据集上的实证评估表明，ELDP可在中等隐私预算下实现深度神经网络的可接受准确率，实用性优于经典DP，同时保持强隐私保证。