[论文解读] An Outlier Detection-based Tree Selection Approach to Extreme Pruning of Random Forests

Khaled Fawagreh, Mohamed Medhat Gaber+1 more|arXiv (Cornell University)|Mar 17, 2015

Anomaly Detection Techniques and Applications参考文献 38被引用 3

一句话总结

该论文提出LOFB-DRF，一种针对随机森林的极端剪枝方法，通过局部异常值因子（LOF）评分仅选择最具多样性的树，实现高达99%的剪枝率，同时保持或提升准确率。通过优先选择LOF得分较高的树（表明其预测更具多样性），该方法在不损失性能的前提下显著减小模型规模并缩短推理时间，适用于实时应用。

ABSTRACT

Random Forest (RF) is an ensemble classification technique that was developed by Breiman over a decade ago. Compared with other ensemble techniques, it has proved its accuracy and superiority. Many researchers, however, believe that there is still room for enhancing and improving its performance in terms of predictive accuracy. This explains why, over the past decade, there have been many extensions of RF where each extension employed a variety of techniques and strategies to improve certain aspect(s) of RF. Since it has been proven empirically that ensembles tend to yield better results when there is a significant diversity among the constituent models, the objective of this paper is twofolds. First, it investigates how an unsupervised learning technique, namely, Local Outlier Factor (LOF) can be used to identify diverse trees in the RF. Second, trees with the highest LOF scores are then used to produce an extension of RF termed LOFB-DRF that is much smaller in size than RF, and yet performs at least as good as RF, but mostly exhibits higher performance in terms of accuracy. The latter refers to a known technique called ensemble pruning. Experimental results on 10 real datasets prove the superiority of our proposed extension over the traditional RF. Unprecedented pruning levels reaching 99% have been achieved at the time of boosting the predictive accuracy of the ensemble. The notably high pruning level makes the technique a good candidate for real-time applications.

研究动机与目标

• 为解决包含100至500棵树的大规模随机森林带来的高计算与内存开销，通过减少集成规模而不损失准确率。
• 通过确保剪枝后集成中剩余树的高多样性，提升预测性能。
• 开发一种高效且有效的剪枝策略，实现紧凑但准确的模型在实时环境中的部署。
• 探究无监督异常检测是否能有效识别用于集成剪枝的多样化且高性能的树。
• 证明通过基于多样性的树选择，实现高达99%的极端剪枝是可行的，且在保持或提升准确率的前提下实现。

提出的方法

• 该方法使用局部异常值因子（LOF）基于树在训练样本上的预测多样性，计算随机森林中每棵树的异常度评分。
• 选择LOF得分最高的树，因其在集成中代表最多样化或‘异常’的预测。
• 最终剪枝模型LOFB-DRF仅使用这些高LOF得分的树进行多数投票，显著减少集成中的树的数量。
• 将LOF应用于训练集上所有树的预测向量，将每棵树的输出视为高维空间中的一个点。
• 剪枝过程为无监督，无需微调；直接在预训练的随机森林上操作。
• 该方法在10个真实世界数据集上进行评估，以衡量准确率、剪枝率和计算效率。

实验结果

研究问题

• RQ1 局部异常值因子能否有效识别出在随机森林中对集成性能贡献最大的多样化树？
• RQ2 在保持或提升准确率的前提下，基于LOF的树选择可将随机森林剪枝到何种程度？
• RQ3 在性能开始下降前，基于LOF选择的剪枝率最大可达到多少？
• RQ4 在不同数据集上，LOFB-DRF与传统随机森林在准确率和推理速度方面相比如何？
• RQ5 当以多样性为指导时，是否可实现极端剪枝（如99%）而不会造成预测性能的显著损失？

主要发现

• 在多个数据集上，LOFB-DRF实现了高达99%的剪枝率，包括‘audit’和‘vote’数据集，准确率损失极小或无损失。
• 在‘sonar’数据集上，剪枝后的模型仅使用5棵树（剪枝率95%）即保持97.97%的准确率，某些情况下优于完整随机森林。
• 在‘vote’数据集上，仅用5棵树（剪枝率95%）即实现97.97%的准确率，展示了在极端压缩下的高性能表现。
• 在‘soybean’数据集上，LOFB-DRF仅使用5棵树即保持77.59%的准确率，某些配置下优于完整随机森林。
• 该方法在所有10个数据集上均持续优于或匹配完整随机森林，即使剪枝率超过90%。
• 该方法在模型紧凑性与预测准确率之间实现了显著平衡，适用于实时部署。