[论文解读] Decision Tree Classification with Differential Privacy: A Survey

Sam Fletcher, Md Zahidul Islam|arXiv (Cornell University)|Nov 7, 2016

Privacy-Preserving Technologies in Data参考文献 74被引用 21

一句话总结

本综述对决策树分类中的差分隐私进行了全面分析，探讨了隐私保护机制与分裂准则、剪枝和集成方法等核心组件之间的相互作用。研究识别出隐私预算分配与模型效用之间的关键权衡，突出强调了在保持强隐私保证的同时优化准确性的策略。

ABSTRACT

Data mining information about people is becoming increasingly important in the data-driven society of the 21st century. Unfortunately, sometimes there are real-world considerations that conflict with the goals of data mining; sometimes the privacy of the people being data mined needs to be considered. This necessitates that the output of data mining algorithms be modified to preserve privacy while simultaneously not ruining the predictive power of the outputted model. Differential privacy is a strong, enforceable definition of privacy that can be used in data mining algorithms, guaranteeing that nothing will be learned about the people in the data that could not already be discovered without their participation. In this survey, we focus on one particular data mining algorithm -- decision trees -- and how differential privacy interacts with each of the components that constitute decision tree algorithms. We analyze both greedy and random decision trees, and the conflicts that arise when trying to balance privacy requirements with the accuracy of the model.

研究动机与目标

• 分析差分隐私在决策树分类算法中的集成方式。
• 识别并评估影响隐私保护与预测准确性之间平衡的设计选择。
• 研究差分隐私对决策树构建各阶段（包括分裂、剪枝和集成学习）的影响。
• 从隐私预算使用、查询敏感度和模型性能等方面比较现有方法。
• 探讨开放性挑战，如隐私预算分配不均和启发式查询减少。

提出的方法

• 根据差分隐私的敏感度，对决策树组件（如分裂准则、剪枝和标签查询）进行分类。
• 分析查询敏感度对噪声添加的影响，特别比较叶节点中“类别计数”与“多数类别”等查询的差异。
• 调查现有算法，这些算法通过输出扰动或目标扰动来确保决策树学习中的差分隐私。
• 评估在差分隐私环境下使用随机森林的适用性，重点关注树的数量（τ）及其对效用的贡献。
• 提出启发式策略以减少查询数量（g − h），从而提高每条查询的有效隐私预算。
• 研究基于查询的关键性与敏感度，对查询实施非均匀隐私预算分配的潜力。

实验结果

研究问题

• RQ1 决策树构建的不同组件（如分裂、剪枝、标注）如何影响差分隐私下的敏感度与噪声需求？
• RQ2 在差分隐私随机森林中，最优树的数量（τ）是多少？其对模型准确率有何影响？
• RQ3 查询减少启发式方法在不损害隐私保证的前提下，能在多大程度上提升效用？
• RQ4 放宽差分隐私定义是否能显著提升模型效用？这种权衡在实际应用中是否可接受？
• RQ5 在决策树学习中，应如何根据查询的敏感度与重要性分配隐私预算？

主要发现

• 选择查询方式（如询问“多数类别”而非“类别计数”）可显著减少噪声，从而在隐私成本极低的情况下提升模型准确率。
• 实证证据表明，随机森林中使用100棵树更有利于高准确率，这与早期认为τ = 10已足够的结论相矛盾。
• 启发式查询减少可通过消除冗余或可推断的查询，提高每条查询的有效隐私预算，从而在不增加风险的前提下提升效用。
• 非均匀隐私预算分配可能带来性能提升，因为某些查询比其他查询更敏感或更关键，尽管这仍是开放的研究方向。
• 如Rana等人（2016）所探讨的，放宽差分隐私定义可显著提升效用，但此类方法需进一步验证后方可替代标准定义。
• 文献一致表明存在隐私与效用之间的权衡，每次数据查询都会产生隐私成本，必须谨慎平衡以兼顾模型性能。