[论文解读] Individual Privacy Accounting via a Renyi Filter

Vitaly Feldman, Tijana Zrnic|arXiv (Cornell University)|Aug 25, 2020

Privacy-Preserving Technologies in Data参考文献 31被引用 21

一句话总结

本文提出一种基于Rényi差分隐私过滤器的个性化隐私会计方法，可追踪每个数据点的个体隐私损失，从而在自适应数据分析中实现更优的隐私-效用权衡。通过动态排除已超出隐私预算的个体，该方法在不损害隐私保证的前提下提升了模型效用，尤其在次优超参数设置下表现更优。

ABSTRACT

We consider a sequential setting in which a single dataset of individuals is used to perform adaptively-chosen analyses, while ensuring that the differential privacy loss of each participant does not exceed a pre-specified privacy budget. The standard approach to this problem relies on bounding a worst-case estimate of the privacy loss over all individuals and all possible values of their data, for every single analysis. Yet, in many scenarios this approach is overly conservative, especially for "typical" data points which incur little privacy loss by participation in most of the analyses. In this work, we give a method for tighter privacy loss accounting based on the value of a personalized privacy loss estimate for each individual in each analysis. To implement the accounting method we design a filter for Rényi differential privacy. A filter is a tool that ensures that the privacy parameter of a composed sequence of algorithms with adaptively-chosen privacy parameters does not exceed a pre-specified budget. Our filter is simpler and tighter than the known filter for $(ε,δ)$-differential privacy by Rogers et al. We apply our results to the analysis of noisy gradient descent and show that personalized accounting can be practical, easy to implement, and can only make the privacy-utility tradeoff tighter.

研究动机与目标

• 解决标准差分隐私组合定理的过度保守性问题，后者假设所有个体均面临最坏情况下的隐私损失。
• 通过在自适应分析过程中估计并追踪每个个体的隐私损失，实现更紧致的隐私会计。
• 开发一种实用且可实现的个性化隐私预算分配方法，以在超参数非最优的真实场景中提升模型效用。
• 证明个性化会计可在差分隐私优化中带来显著的准确率提升，尤其在模型超参数未被最优调优时。

提出的方法

• 为每个个体提出个性化隐私损失估计，计算方式为：当算法应用于仅在该个体数据上有所不同的数据集时，其输出分布之间的Rényi散度。
• 设计一种Rényi隐私过滤器，确保在自适应组合过程中，每个个体的累计隐私损失始终控制在预设预算范围内。
• 利用该过滤器动态排除其估计隐私损失已超过剩余预算的数据点，仅允许活跃数据点参与后续分析。
• 将该方法应用于差分隐私随机梯度下降（DP-SGD），基于梯度范数和噪声注入情况，按数据点追踪隐私预算。
• 采用Rényi差分隐私（RDP）实现该过滤器，相较于传统(ε,δ)-DP，可在自适应设置下获得更紧致的组合界。
• 通过按数据点调整裁剪和噪声水平，将过滤器集成至优化流水线中，确保隐私保护的同时最大化模型效用。

实验结果

研究问题

• RQ1 个性化隐私会计能否减轻标准组合定理在自适应数据分析中的过度保守性？
• RQ2 如何在与自适应组合定理兼容的前提下，对个体隐私损失进行估计与追踪？
• RQ3 在差分隐私训练中，个性化隐私会计对模型效用的影响如何，尤其在超参数非最优时？
• RQ4 基于Rényi的隐私过滤器是否比现有(ε,δ)-差分隐私过滤器更简单且更紧致？
• RQ5 在超参数调优不切实际的真实场景中，个体过滤在多大程度上能提升性能？

主要发现

• 所提出的Rényi过滤器相较于现有(ε,δ)-DP过滤器，提供了更简单且更紧致的隐私会计机制，尤其在自适应设置下表现更优。
• 在差分隐私SGD中，个体隐私会计带来了可测量的准确率提升：当ε=0.3时，在次优裁剪设置下准确率从84.47%提升至92.25%。
• 当ε=0.5时，使用次优裁剪设置下，准确率从92.07%提升至94.30%，表明在非最优配置下仍能实现显著增益。
• 即使在次优噪声水平下，该方法仍将准确率从86.88%提升至91.20%（ε=0.3），显示出对超参数误配置的鲁棒性。
• 在小ε值下，个体过滤的优势最为显著，此时最优与次优设置之间的效用差距最大。
• 该方法实用且易于实现，已通过在现有代码库中仅做最小修改即成功集成至私有训练流水线，验证了其可部署性。