[论文解读] Improving the methods of email classification based on words ontology

Foruzan Kiamarzpour, Rouhollah Dianat+2 more|arXiv (Cornell University)|Oct 22, 2013

Spam and Phishing Detection参考文献 10被引用 3

一句话总结

本文提出了一种新颖的电子邮件垃圾邮件分类方法，通过将词典语义关系与集成决策树相结合，提升了分类准确率。通过利用语义关系从词典中优化特征选择，并通过投票机制整合多个决策树，该方法在性能上优于传统的基于关键词的方法。

ABSTRACT

The Internet has dramatically changed the relationship among people and their relationships with others people and made the valuable information available for the users. Email is the service, which the Internet provides today for its own users; this service has attracted most of the users' attention due to the low cost. Along with the numerous benefits of Email, one of the weaknesses of this service is that the number of received emails is continually being enhanced, thus the ways are needed to automatically filter these disturbing letters. Most of these filters utilize a combination of several techniques such as the Black or white List, using the keywords and so on in order to identify the spam more accurately In this paper, we introduce a new method to classify the spam. We are seeking to increase the accuracy of Email classification by combining the output of several decision trees and the concept of ontology.

研究动机与目标

• 为应对电子邮件垃圾邮件数量和复杂性不断增加所带来的挑战。
• 在传统基于关键词的过滤方法基础上进一步提升分类准确率。
• 将来自词典的语义知识整合到机器学习模型中，以实现更优的特征表示。
• 开发一种结合决策树与词典推理的混合方法，实现稳健的垃圾邮件检测。

提出的方法

• 构建一个领域特定的词典，以捕捉电子邮件术语之间的语义关系。
• 利用词典增强特征提取，将原始关键词转换为具有语义意义的属性。
• 在基于词典增强的特征集上训练多个决策树，以提升泛化能力。
• 通过投票机制整合各决策树的输出，生成最终分类结果。
• 应用词典中的语义相似度度量方法，以解决歧义性并减少误报。
• 使用交叉验证优化集成模型，以在精确率与召回率之间取得平衡。

实验结果

研究问题

• RQ1 将词典整合到电子邮件分类中，是否能相比传统基于关键词的方法提升检测准确率？
• RQ2 对特征进行语义增强，对决策树模型在垃圾邮件过滤中的性能有何影响？
• RQ3 结合多个决策树在多大程度上提升了鲁棒性并减少了过拟合？
• RQ4 基于词典的特征选择对降低电子邮件分类中的误报率有何影响？

主要发现

• 所提出的方法相比基线的基于关键词的方法，在分类准确率方面实现了显著提升。
• 引入词典有效降低了误报率，增强了对邮件内容语义的理解。
• 集成的决策树模型优于单棵决策树，展现出在未见数据上的更好泛化能力。
• 语义特征增强使模型在各类垃圾邮件中表现出更一致的性能。