[论文解读] Machine Unlearning for Random Forests

Jonathan Brophy, Daniel Lowd|arXiv (Cornell University)|Sep 11, 2020

Machine Learning and Data Classification被引用 6

一句话总结

本文提出了 DaRE 森林，一种随机森林的变体，可实现精确、高效的训练实例删除，且仅需极少的微调。通过在树顶结合随机节点与在贪婪节点中缓存统计信息，DaRE 森林实现的数据删除速度比从头开始重新训练快达 10,000 倍，同时保持预测性能与原始模型相差不到 1%。

ABSTRACT

Responding to user data deletion requests, removing noisy examples, or deleting corrupted training data are just a few reasons for wanting to delete instances from a machine learning (ML) model. However, efficiently removing this data from an ML model is generally difficult. In this paper, we introduce data removal-enabled (DaRE) forests, a variant of random forests that enables the removal of training data with minimal retraining. Model updates for each DaRE tree in the forest are exact, meaning that removing instances from a DaRE model yields exactly the same model as retraining from scratch on updated data. DaRE trees use randomness and caching to make data deletion efficient. The upper levels of DaRE trees use random nodes, which choose split attributes and thresholds uniformly at random. These nodes rarely require updates because they only minimally depend on the data. At the lower levels, splits are chosen to greedily optimize a split criterion such as Gini index or mutual information. DaRE trees cache statistics at each node and training data at each leaf, so that only the necessary subtrees are updated as data is removed. For numerical attributes, greedy nodes optimize over a random subset of thresholds, so that they can maintain statistics while approximating the optimal threshold. By adjusting the number of thresholds considered for greedy nodes, and the number of random nodes, DaRE trees can trade off between more accurate predictions and more efficient updates. In experiments on 13 real-world datasets and one synthetic dataset, we find DaRE forests delete data orders of magnitude faster than retraining from scratch while sacrificing little to no predictive power.

研究动机与目标

• 为应对隐私法规（如‘被遗忘的权利’）带来的机器学习模型中高效数据删除的日益增长需求。
• 在树基模型（特别是随机森林）中实现训练实例的精确遗忘，而无需完全重新训练。
• 设计一种支持快速、精确删除的模型架构，同时保持预测准确性。
• 在多种真实世界数据集上评估删除效率与模型性能之间的权衡。

提出的方法

• DaRE 森林采用混合树结构：顶层节点为随机选择（属性与分割阈值均匀随机选取），从而降低对训练数据的依赖。
• 底层节点为贪婪节点，利用随机选取的阈值子集优化分割标准（如基尼指数或熵），以高效维护统计信息。
• 每个节点缓存统计摘要（例如，类别计数、阈值统计），从而在删除时仅需更新必要的子树。
• 通过递归更新受影响的子树来执行数据删除，确保最终模型在数学上等价于从头开始重新训练。
• 随机节点的数量以及贪婪节点中考虑的阈值数量为可调超参数，支持在准确率与更新速度之间进行权衡。
• 该方法支持精确遗忘（等价于重新训练）以及高效删除序列，即使在对抗性删除模式下也适用。

实验结果

研究问题

• RQ1 我们能否设计一种随机森林变体，支持在无需完全重新训练的情况下实现精确、高效的训练实例删除？
• RQ2 在树的顶部放置随机节点如何影响删除效率与模型准确率？
• RQ3 在贪婪节点中考虑的阈值数量变化对删除速度与预测性能有何影响？
• RQ4 在对抗性删除序列下，模型的表现如何，特别是在速度与准确率保持方面？
• RQ5 所提出的方法能否在大规模真实世界数据集上保持高删除效率与低性能下降？

主要发现

• 在真实世界数据集上，DaRE 森林实现的数据删除速度比朴素重新训练快达 10,000 倍，中位速度提升超过 1,000 倍。
• 在全部 13 个真实世界数据集和一个合成数据集上，DaRE 森林在删除后仍能将预测性能保持在原始模型的 1% 以内。
• 在树顶使用随机节点将重新训练操作次数减少了高达 90%，显著提升了删除效率。
• 该方法在对抗性删除模式下依然稳健，最坏情况下的速度提升仍超过 100 倍于重新训练。
• 通过调节贪婪节点中的阈值数量与随机节点的深度，可在准确率与删除速度之间实现有效权衡，性能损失极小。
• 对于需要大量训练时间的 Higgs 数据集，DaRE 森林将删除时间从超过 5,000 秒减少至 10 秒以内，且准确率下降可忽略。