[论文解读] Differentially- and non-differentially-private random decision trees

Mariusz Bojarski, Anna Choromanska+2 more|arXiv (Cornell University)|Oct 26, 2014

Privacy-Preserving Technologies in Data参考文献 49被引用 18

一句话总结

该论文提出并分析了使用三种聚合方法（多数投票、阈值平均和概率平均）的差分隐私与非差分隐私随机决策森林。证明即使在差分隐私条件下，仅需 O(log n) 棵随机树即可实现高精度，并通过实验表明多数投票在超参数选择上具有较低敏感性，表现出稳健且隐私保护性能。

ABSTRACT

We consider supervised learning with random decision trees, where the tree construction is completely random. The method is popularly used and works well in practice despite the simplicity of the setting, but its statistical mechanism is not yet well-understood. In this paper we provide strong theoretical guarantees regarding learning with random decision trees. We analyze and compare three different variants of the algorithm that have minimal memory requirements: majority voting, threshold averaging and probabilistic averaging. The random structure of the tree enables us to adapt these methods to a differentially-private setting thus we also propose differentially-private versions of all three schemes. We give upper-bounds on the generalization error and mathematically explain how the accuracy depends on the number of random decision trees. Furthermore, we prove that only logarithmic (in the size of the dataset) number of independently selected random decision trees suffice to correctly classify most of the data, even when differential-privacy guarantees must be maintained. We empirically show that majority voting and threshold averaging give the best accuracy, also for conservative users requiring high privacy guarantees. Furthermore, we demonstrate that a simple majority voting rule is an especially good candidate for the differentially-private classifier since it is much less sensitive to the choice of forest parameters than other methods.

研究动机与目标

• 提供对三种聚合方案（多数投票、阈值平均和概率平均）下非差分隐私与差分隐私随机决策树的首次全面理论分析。
• 建立泛化误差界，并量化在标准与差分隐私设置下，准确率对树数量的依赖关系。
• 证明仅需少量随机树（对数据集大小取对数）即可在保持强隐私保证的同时实现高分类准确率。
• 通过实验评估并比较在差分隐私下不同聚合方法的性能，尤其关注对超参数选择的鲁棒性。

提出的方法

• 通过在每个节点独立于数据随机选择特征和阈值来构建随机决策树，实现快速、单次遍历的构造，且内存占用极少。
• 采用三种聚合策略：多数投票（基于最频繁标签的预测类别）、阈值平均（预测概率的平均值）和概率平均（使用树置信度加权平均）。
• 通过仅向叶节点计数器添加拉普拉斯噪声而非内部节点，将框架适配至差分隐私，从而减少对树结构扰动的影响。
• 使用隐私预算参数 η = 1000 / n_tr，其中 n_tr 为训练样本数量，以控制噪声幅度并确保 (ε, δ)-差分隐私。
• 在树高 h ∈ {1, ..., 15} 和树数量 k ∈ {1, 3, ..., 21} 范围内进行超参数搜索，选择验证误差最小的组合。
• 在 8 个真实世界数据集（包括 Banknote、Adult 和 Covertype）上采用 10 折交叉验证，训练集占 90%，验证集占 10%，测试集占 10%。

实验结果

研究问题

• RQ1 使用多数投票、阈值平均和概率平均的非差分隐私随机决策森林的理论泛化误差界是什么？
• RQ2 在差分隐私下，需要多少棵随机决策树才能实现高分类准确率？该数量是否随数据集大小呈对数增长？
• RQ3 在差分隐私下，不同聚合方法（多数投票、阈值平均、概率平均）的性能比较如何，尤其是在对超参数选择的敏感性方面？
• RQ4 仅向叶节点计数器添加噪声而非内部节点，能否使差分隐私随机森林在最小扰动下仍保持高准确率？

主要发现

• 即使在差分隐私条件下，仅需 O(log n) 棵随机决策树即可正确分类大部分数据，这相较于先前方法具有显著的理论优势。
• 多数投票和阈值平均在所有聚合方法中表现最佳，其中多数投票在超参数选择上展现出更优的鲁棒性。
• 采用多数投票的差分隐私随机森林对树的数量（k）和树高（h）的敏感性远低于其他方法，因此在高隐私应用场景中更具实用性。
• 概率平均的表现显著劣于其他两种方法，因此不推荐在差分隐私设置中使用。
• 对于固定隐私预算（η = 1000 / n_tr），测试误差随 k 和 h 增加而降低，但阈值平均的最优配置对参数选择高度敏感，而多数投票则不然。
• 实验结果表明，dpRFMV（采用多数投票的差分隐私随机森林）在准确率与稳定性之间实现了最佳平衡，优于 dpRFTA 和 dpRFPA 在多个数据集上的表现。