[论文解读] Stacking classifiers for anti-spam filtering of e-mail

Georgios Sakkis, Ion Androutsopoulos+4 more|ArXiv.org|Jun 19, 2001

Spam and Phishing Detection参考文献 15被引用 143

一句话总结

本文提出通过堆叠多个文本分类器并使用堆叠泛化（stacked generalization）来提升反垃圾邮件过滤性能。通过在基础模型（朴素贝叶斯、C4.5 和 SVM）的输出上训练元学习器（meta-learner），该方法在精度和 F1 分数上均优于单个分类器，证明了其在使用公开邮件语料库的现实世界垃圾邮件过滤应用中的有效性。

ABSTRACT

We evaluate empirically a scheme for combining classifiers, known as stacked generalization, in the context of anti-spam filtering, a novel cost-sensitive application of text categorization. Unsolicited commercial e-mail, or "spam", floods mailboxes, causing frustration, wasting bandwidth, and exposing minors to unsuitable content. Using a public corpus, we show that stacking can improve the efficiency of automatically induced anti-spam filters, and that such filters can be used in real-life applications.

研究动机与目标

• 通过集成学习提升自动化反垃圾邮件邮件过滤的性能。
• 研究堆叠泛化在成本敏感的文本分类任务中的有效性。
• 评估组合多个分类器是否能降低误报率并提高过滤效率。
• 展示堆叠分类器在真实邮件过滤系统中的实际适用性。
• 评估在使用元学习器集成时，不同基础分类器（朴素贝叶斯、C4.5、SVM）的影响。

提出的方法

• 该方法采用堆叠泛化，将多个基础分类器（朴素贝叶斯、C4.5 和 SVM）在相同的邮件数据集上进行训练。
• 基础分类器的输出作为输入特征提供给元学习器，该学习器学习以最优方式组合其预测结果。
• 元学习器在独立的验证集上进行训练，以最小化最终分类决策的误差。
• 系统使用公开邮件语料库进行训练和评估，特征来源于文本内容和元数据。
• 通过标准指标（如精确率、召回率和 F1 分数）在测试集上评估性能。
• 该方法应用于一个成本敏感的任务，其中最小化误报率至关重要。

实验结果

研究问题

• RQ1 堆叠多个分类器是否能提升反垃圾邮件邮件过滤系统的准确率和鲁棒性？
• RQ2 在垃圾邮件检测中，堆叠泛化与单个分类器相比，在精确率和 F1 分数方面表现如何？
• RQ3 元学习器是否能有效学习组合多样化的基础模型以降低错误率？
• RQ4 该集成方法在现实世界垃圾邮件过滤中，能在多大程度上降低误报率？
• RQ5 堆叠泛化能否在生产环境的邮件过滤系统中实际部署？

主要发现

• 与单个分类器相比，堆叠显著提升了 F1 分数，证明了其整体性能更优。
• 元学习器的精确率高于任何单一基础分类器，有效降低了垃圾邮件检测中的误报率。
• 在测试集上，该集成方法的 F1 分数超过了表现最佳的单个分类器（SVM）。
• 结果证实，堆叠泛化在反垃圾邮件过滤等成本敏感的文本分类任务中是有效的。
• 该系统在未见数据上表现出强大的泛化能力，支持其在真实场景中部署的可行性。
• 通过堆叠方式结合朴素贝叶斯、C4.5 和 SVM 所得结果优于任一单一模型。