[论文解读] Boosting Trees for Anti-Spam Email Filtering

Xavier Carreras, Lluı́s Màrquez|ArXiv.org|Sep 13, 2001

Spam and Phishing Detection参考文献 15被引用 342

一句话总结

本文在PU1语料库上评估了带有置信度预测的AdaBoost在反垃圾邮件过滤中的应用，表明基于提升的分类器显著优于朴素贝叶斯和决策树，F1分数超过97%。研究进一步表明，增加基学习器的复杂度可提升高精度过滤性能，这对于在实际部署中最小化误报至关重要。

ABSTRACT

This paper describes a set of comparative experiments for the problem of automatically filtering unwanted electronic mail messages. Several variants of the AdaBoost algorithm with confidence-rated predictions [Schapire & Singer, 99] have been applied, which differ in the complexity of the base learners considered. Two main conclusions can be drawn from our experiments: a) The boosting-based methods clearly outperform the baseline learning algorithms (Naive Bayes and Induction of Decision Trees) on the PU1 corpus, achieving very high levels of the F1 measure; b) Increasing the complexity of the base learners allows to obtain better ``high-precision'' classifiers, which is a very important issue when misclassification costs are considered.

研究动机与目标

• 评估带有置信度预测的AdaBoost在垃圾邮件过滤中相对于基线方法的有效性。
• 研究增加基学习器复杂度是否能提升性能，特别是在高精度场景下。
• 评估在实际垃圾邮件过滤中误分类成本的影响，其中误报具有高度破坏性。
• 提供一种鲁棒且抗过拟合的方法，即使在大规模特征集下也无需预先进行特征筛选。
• 展示置信度分数和可调阈值在电子邮件过滤系统实际部署中的实用性。

提出的方法

• 应用带有置信度预测的AdaBoost算法，从弱假设中学习强分类器。
• 使用决策小枝和逐步增加复杂度的决策树（最大深度为5）作为基学习器，以评估表达能力的影响。
• 采用弱假设的加权组合，其中每个假设都在随训练轮次演变的训练样本分布上进行训练。
• 通过调整提升轮数和分类阈值，优化精确率与召回率之间的权衡。
• 使用Androutsopoulos等人（2000b）提出的成本敏感评估指标，评估在误分类成本约束下的性能表现。
• 通过调整决策阈值生成精确率-召回率曲线，分析在高精确率水平（如95%–100%）下的性能表现。

实验结果

研究问题

• RQ1 带有置信度预测的AdaBoost是否在PU1垃圾邮件语料库上显著优于朴素贝叶斯和决策树等传统方法？
• RQ2 增加基学习器复杂度（如从决策小枝到更深层的树）如何影响基于提升的垃圾邮件过滤器性能？
• RQ3 AdaBoost能否生成适合实际电子邮件过滤场景的高精确率分类器，其中误报代价高昂？
• RQ4 置信度分数和可调节的决策阈值如何提升垃圾邮件过滤器的实际部署效果？
• RQ5 调优过程和模型复杂度在多大程度上影响分类器的鲁棒性和泛化能力？

主要发现

• 带有置信度预测的AdaBoost在PU1语料库上实现了超过97%的F1分数，显著优于朴素贝叶斯和决策树。
• 小枝变体实现了98.58%的F1分数，而TreeBoost[4]达到了99.14%的F1分数，表明更富表达力的基学习器具有明显优势。
• 在100%精确率下，TreeBoost[4]实现了80.24%的召回率，优于小枝（62.37%）和其他TreeBoost变体，表明其在高精确率场景下表现更优。
• 所有变体在95%精确率下均实现了98.75%的召回率，但更深层的树（如TreeBoost[4]）在99%和100%精确率水平下仍保持更高的召回率。
• 该方法即使在数万个特征下也表现出强抗过拟合能力，且无需预先进行特征筛选。
• 模型生成的置信度分数支持有效的阈值调优，使得高精确率过滤器能够被部署，从而最大限度减少误报。