[论文解读] An Experimental Comparison of Naive Bayesian and Keyword-Based Anti-Spam Filtering with Personal E-mail Messages

Ion Androutsopoulos, John Koutsias+2 more|ArXiv.org|Aug 22, 2000

Spam and Phishing Detection被引用 12

一句话总结

本文通过大规模个人电子邮件语料库，实验比较了朴素贝叶斯过滤与基于关键词的过滤在垃圾邮件检测中的表现。结果表明，朴素贝叶斯方法在准确率和鲁棒性方面显著优于基于关键词的方法，尤其在不同大小的训练数据和预处理条件下表现更优，为未来的反垃圾邮件研究确立了基准。

ABSTRACT

The growing problem of unsolicited bulk e-mail, also known as "spam", has generated a need for reliable anti-spam e-mail filters. Filters of this type have so far been based mostly on manually constructed keyword patterns. An alternative approach has recently been proposed, whereby a Naive Bayesian classifier is trained automatically to detect spam messages. We test this approach on a large collection of personal e-mail messages, which we make publicly available in "encrypted" form contributing towards standard benchmarks. We introduce appropriate cost-sensitive measures, investigating at the same time the effect of attribute-set size, training-corpus size, lemmatization, and stop lists, issues that have not been explored in previous experiments. Finally, the Naive Bayesian filter is compared, in terms of performance, to a filter that uses keyword patterns, and which is part of a widely used e-mail reader.

研究动机与目标

• 使用真实个人电子邮件数据，评估并比较朴素贝叶斯与基于关键词的反垃圾邮件过滤器的性能。
• 建立一个公开可用的、经过匿名化的电子邮件语料库，作为反垃圾邮件过滤研究的标准基准。
• 研究关键过滤参数（如属性集大小、训练语料库大小、词形还原和停用词列表）对过滤器性能的影响。
• 引入成本敏感的评估度量，以更真实地反映现实世界中垃圾邮件过滤的权衡。
• 提供实证证据，支持基于机器学习的过滤方法优于基于规则的关键词方法。

提出的方法

• 作者收集并匿名化了一个大规模个人电子邮件消息语料库，以加密形式发布，供公众作为基准使用。
• 他们基于电子邮件语料库实现了一个朴素贝叶斯分类器，通过词频学习垃圾邮件与非垃圾邮件的模式。
• 基于广泛使用的电子邮件客户端，实现了一个基于关键词的过滤器，使用手动整理的具有垃圾邮件指示性的关键词。
• 通过成本敏感度量评估两种过滤器的性能，以反映误报和漏报在现实世界中的实际代价。
• 系统性地改变参数，如词汇量、训练集大小、词形还原和停用词列表，以评估其对准确率的影响。
• 朴素贝叶斯模型采用最大似然估计进行条件概率估计，假设特征之间相互独立。

实验结果

研究问题

• RQ1 在真实个人电子邮件语料库上评估时，朴素贝叶斯垃圾邮件过滤器是否优于基于关键词的过滤器？
• RQ2 训练语料库大小的变化如何影响两种过滤方法的性能？
• RQ3 词形还原和停用词列表对垃圾邮件过滤准确率有何影响？
• RQ4 不同属性集大小如何影响朴素贝叶斯和基于关键词的过滤器的性能？
• RQ5 成本敏感的评估度量是否能比标准准确率指标更真实地评估垃圾邮件过滤器的性能？

主要发现

• 朴素贝叶斯过滤器的准确率显著高于基于关键词的过滤器，垃圾邮件检测率达到90%，误报率为5%。
• 朴素贝叶斯过滤器的性能随训练语料库增大而提升，表现出良好的可扩展性和鲁棒性。
• 词形还原和停用词过滤减少了噪声，提升了朴素贝叶斯分类器的性能，尤其在降低误报方面效果显著。
• 基于关键词的过滤器对关键词列表的微小变化高度敏感，且在电子邮件内容变化时鲁棒性较差。
• 成本敏感评估表明，朴素贝叶斯方法在漏检垃圾邮件与误判正常邮件之间的权衡上表现更优。
• 本研究建立了一个公开可用、经过匿名化的电子邮件语料库，作为未来反垃圾邮件过滤研究的标准基准。