[论文解读] Local Dampening: Differential Privacy for Non-numeric Queries via Local Sensitivity

Victor A. E. Farias, Felipe T. Brito+4 more|arXiv (Cornell University)|Dec 7, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出局部阻尼机制（Local Dampening），这是一种新颖的差分隐私框架，适用于非数值查询，通过利用局部敏感性来减少噪声并提高实用性。通过将局部敏感性适配至非数值输出，该方法在百分位数选择任务中实现最高73%的误差降低，在关键节点分析中实现隐私预算使用量减少2至4个数量级，并在决策树归纳中实现最高12%的准确率提升，优于基于全局敏感性的方法。

ABSTRACT

Differential privacy is the state-of-the-art formal definition for data release under strong privacy guarantees. A variety of mechanisms have been proposed in the literature for releasing the output of numeric queries (e.g., the Laplace mechanism and smooth sensitivity mechanism). Those mechanisms guarantee differential privacy by adding noise to the true query's output. The amount of noise added is calibrated by the notions of global sensitivity and local sensitivity of the query that measure the impact of the addition or removal of an individual on the query's output. Mechanisms that use local sensitivity add less noise and, consequently, have a more accurate answer. However, although there has been some work on generic mechanisms for releasing the output of non-numeric queries using global sensitivity (e.g., the Exponential mechanism), the literature lacks generic mechanisms for releasing the output of non-numeric queries using local sensitivity to reduce the noise in the query's output. In this work, we remedy this shortcoming and present the local dampening mechanism. We adapt the notion of local sensitivity for the non-numeric setting and leverage it to design a generic non-numeric mechanism. We provide theoretical comparisons to the exponential mechanism and show under which conditions the local dampening mechanism is more accurate than the exponential mechanism. We illustrate the effectiveness of the local dampening mechanism by applying it to three diverse problems: (i) percentile selection problem. We report the p-th element in the database; (ii) Influential node analysis. Given an influence metric, we release the top-k most influential nodes while preserving the privacy of the relationship between nodes in the network; (iii) Decision tree induction. We provide a private adaptation to the ID3 algorithm to build decision trees from a given tabular dataset.

研究动机与目标

• 为解决缺乏适用于非数值查询的通用差分隐私机制，且该机制能利用局部敏感性减少噪声的问题。
• 设计一种框架，将此前仅用于数值查询的局部敏感性方法，适配至非数值查询输出。
• 提升真实世界应用中私有数据分析的准确性与效率，如百分位数选择、关键节点检测与决策树归纳。
• 提供理论与实证证据，证明在非数值场景下，基于局部敏感性的噪声校准优于全局敏感性。
• 通过将差分隐私的适用范围扩展至非数值输出，为未来非数值领域私有算法的发展奠定基础。

提出的方法

• 局部阻尼机制通过将查询的局部敏感性定义为：在输入数据库实例上，增删单个个体所导致的效用得分最大变化，将局部敏感性的概念扩展至非数值查询输出。
• 采用一种扰动策略，从输出空间中按与 exp(−ε × (效用得分 − 局部敏感性)) 成比例的概率分布采样，以确保差分隐私。
• 该机制引入一种阻尼函数，基于局部敏感性对效用得分进行缩放，降低高敏感性输入的影响，从而最小化噪声。
• 在决策树归纳中，通过将局部阻尼应用于信息增益度量，对ID3算法进行修改，以实现私有化的分裂属性选择。
• 提出一种改进变体——ShiftedLocalDiffPID3，通过调整效用函数以在噪声下保持排序顺序，缓解属性排序倒置问题。
• 该方法在三个应用场景中进行了评估：百分位数选择、图中关键节点分析，以及使用真实世界表格数据集的私有决策树归纳。

实验结果

研究问题

• RQ1 局部敏感性能否被有意义地扩展至非数值查询输出，以减少差分隐私机制中的噪声？
• RQ2 在何种条件下，基于局部敏感性的噪声校准优于非数值场景下的全局敏感性？
• RQ3 局部阻尼机制如何提升百分位数选择、关键节点分析与决策树归纳中的准确性与隐私预算效率？
• RQ4 与非数值查询工作负载中的指数机制相比，该机制在多大程度上降低了误差并提升了实用性？
• RQ5 该机制能否被调整以处理私有决策树学习中的排序不稳定性问题（如属性排序倒置）？

主要发现

• 与基于全局敏感性的方法相比，局部阻尼机制在百分位数选择问题中将误差降低了最高73%。
• 在关键节点分析中，该机制相比指数机制将隐私预算使用量减少了2至4个数量级。
• 在决策树归纳中，LocalDiffPID3相较于使用指数机制的GlobalDiffPID3基线，准确率最高提升12%。
• ShiftedLocalDiffPID3变体缓解了深层树中的属性排序倒置问题，在ACS数据集上相比全局敏感性基线准确率最高提升8%。
• 在Adult与NLTCS数据集上，LocalDiffPID3相比基于全局敏感性的方法准确率最高提升5%，而ShiftedLocalDiffPID3额外实现了最高4%的准确率提升。
• 理论分析证实，当输入数据库远离最坏情况时，基于局部敏感性的噪声校准比全局敏感性具有更低的期望误差。