[论文解读] Detecting Threat E-mails using Bayesian Approach

M. Tariq Banday, Jameel A. Qadri+2 more|arXiv (Cornell University)|Dec 23, 2011

Spam and Phishing Detection参考文献 9被引用 6

一句话总结

本文提出了一种朴素贝叶斯方法，用于通过三种方法分类威胁邮件：单个关键词、加权多重关键词，以及结合上下文匹配的加权多重关键词。在针对恐怖主义相关邮件语料库的评估中，上下文感知方法显著提高了检测准确率，证明了上下文分析在增强执法和情报应用中威胁邮件过滤系统方面的有效性。

ABSTRACT

Fraud and terrorism have a close connect in terms of the processes that enables and promote them. In the era of Internet, its various services that include Web, e-mail, social networks, blogs, instant messaging, chats, etc. are used in terrorism not only for communication but also for i) creation of ideology, ii) resource gathering, iii) recruitment, indoctrination and training, iv) creation of terror network, and v) information gathering. A major challenge for law enforcement and intelligence agencies is efficient and accurate gathering of relevant and growing volume of crime data. This paper reports on use of established Naïve Bayesian filter for classification of threat e-mails. Efficiency in filtering threat e-mail by use of three different Naïve Bayesian filter approaches i.e. single keywords, weighted multiple keywords and weighted multiple keywords with keyword context matching are evaluated on a threat e-mail corpus created by extracting data from sources that are very close to terrorism.

研究动机与目标

• 为应对在反恐行动中过滤大量威胁相关邮件的日益严峻挑战。
• 评估朴素贝叶斯分类器在检测与恐怖主义相关邮件内容方面的有效性。
• 比较三种贝叶斯过滤技术：单个关键词、加权多重关键词，以及上下文感知关键词匹配。
• 利用与恐怖主义相关的实际威胁数据，构建一个稳健的邮件分类系统。
• 通过在基于关键词的过滤中引入上下文信息，提升情报机构的检测准确率。

提出的方法

• 本研究采用朴素贝叶斯分类器，基于从与恐怖主义密切相关来源收集的手动整理威胁邮件语料库进行训练。
• 实施了三种过滤方法：(1) 单一关键词匹配，(2) 加权多重关键词，以及(3) 加权多重关键词结合上下文匹配。
• 关键词权重根据其频率和与威胁指标的相关性分配，以提高对良性与恶意内容的区分能力。
• 上下文匹配涉及分析与威胁相关关键词在句法和语义上的接近程度，以提高分类精度。
• 该模型使用条件概率估计，计算基于特征存在与否，邮件为威胁邮件的可能性。
• 性能通过标准指标（如精确率、召回率和F1值）在保留的测试集上进行评估。

实验结果

研究问题

• RQ1 朴素贝叶斯分类器在从与恐怖主义相关的语料库中检测威胁邮件方面的有效性如何？
• RQ2 与单个关键词过滤相比，引入关键词加权是否能提高检测准确率？
• RQ3 在加权关键词中增加上下文匹配，能在多大程度上提升分类性能？
• RQ4 三种过滤方法在精确率、召回率和F1值方面如何比较？
• RQ5 上下文分析能否减少威胁邮件检测中的误报？

主要发现

• 加权多重关键词方法在精确率和F1值方面显著优于单个关键词过滤。
• 在加权关键词模型中引入上下文匹配，使其在所有三种方法中达到最高的检测准确率。
• 上下文感知模型通过有效区分威胁相关术语的良性与恶意使用，显著减少了误报。
• 本研究证明，将关键词加权与上下文分析相结合，可增强自动化威胁邮件检测系统的可靠性。
• 当在特定领域、与恐怖主义相关的数据上进行训练时，朴素贝叶斯框架在分类威胁邮件方面表现出有效性。
• 结果支持将结合上下文特征的贝叶斯过滤作为情报和执法机构邮件监控的可行解决方案。