[论文解读] EMFET: E-mail Features Extraction Tool

Wadi’ Hijawi, Hossam Faris+4 more|arXiv (Cornell University)|Jan 1, 2017

Authorship Attribution and Profiling参考文献 4被引用 5

一句话总结

EMFET 是一个开源、可扩展的工具，用于从 EML 格式的邮件语料中提取 140 个电子邮件特征——分为邮件头、邮件体（正文）和附件特征三类。它通过用户友好的界面和模块化代码结构，结合 .NET 及外部库（如 Stanford.NLP 和 HTML Agility Pack），自动化特征提取过程，使研究人员能够构建高质量的数据集，用于训练垃圾邮件检测的机器学习模型。

ABSTRACT

EMFET is an open source and flexible tool that can be used to extract a large number of features from any email corpus with emails saved in EML format. The extracted features can be categorized into three main groups: header features, payload (body) features, and attachment features. The purpose of the tool is to help practitioners and researchers to build datasets that can be used for training machine learning models for spam detection. So far, 140 features can be extracted using EMFET. EMFET is extensible and easy to use. The source code of EMFET is publicly available at GitHub (https://github.com/WadeaHijjawi/EmailFeaturesExtraction)

研究动机与目标

• 解决缺乏灵活、开源工具用于从 EML 格式邮件语料中提取全面邮件特征的问题。
• 支持研究人员构建高质量、标准化的数据集，用于训练垃圾邮件检测的机器学习模型。
• 提供一个模块化、可扩展的框架，通过类似插件的接口，便于轻松添加新特征。
• 通过自动化从原始邮件数据中提取特征，简化邮件垃圾邮件检测的预处理流程。
• 通过在公共邮件数据集之间标准化特征提取，提升邮件垃圾邮件研究的可重现性和互操作性。

提出的方法

• 该工具使用 Microsoft CDO for Windows 2000 COM 库解析 EML 文件，以提取邮件组件（发件人、收件人、主题、正文等）。
• 基于选项卡的图形用户界面允许用户从三类特征中选择：邮件头、邮件体/正文和附件特征。
• 通过控制器类中唯一标签链接的专用程序提取所选特征，实现模块化与可扩展性。
• 使用外部库（如 HTML Agility Pack、Stanford.NLP.CoreNLP 和 LINQ）处理 HTML 内容、执行自然语言处理任务并查询结构化数据。
• 提取的特征以 CSV 格式保存，对格式错误或无法读取的邮件生成错误日志。
• 实现围绕主类组织，对变量、程序包和邮件对象进行独立初始化，确保可维护性和可扩展性。

实验结果

研究问题

• RQ1 能否设计一种灵活、开源的工具，用于从 EML 格式邮件语料中提取全面的特征，以支持垃圾邮件检测研究？
• RQ2 EMFET 的模块化架构在无需大规模代码重写的情况下，其在支持特征扩展方面的有效性如何？
• RQ3 EMFET 在多大程度上支持与主要公开邮件垃圾邮件数据集（如 SpamAssassin、CSDMC2010 和 Ling-Spam）的互操作性？
• RQ4 邮件特征多样性（邮件头、邮件体、附件）对训练机器学习模型所用数据集的质量和实用性有何影响？
• RQ5 EMFET 使用外部库（如 Stanford.NLP、HTML Agility Pack）在提升特征提取的准确性和效率方面有何作用？

主要发现

• EMFET 从 EML 格式邮件中成功提取了 140 个不同的特征，分别分布在 49 个邮件头特征、89 个邮件体/正文特征和 2 个附件特征中。
• 该工具支持与主要公开邮件语料库（如 SpamAssassin、CSDMC2010 和 Ling-Spam）的集成，这些语料库均以 EML 格式提供。
• 模块化设计支持轻松扩展：通过创建新复选框、定义唯一标签并将其链接到新的提取程序，即可添加新特征。
• 使用 Stanford.NLP 和 HTML Agility Pack 等外部库显著降低了代码复杂度，并提高了对文本和 HTML 内容的解析准确性。
• 该工具为所有提取的特征生成结构化的 CSV 输出，并对格式错误的邮件生成错误日志，确保数据完整性和可重现性。
• EMFET 的界面包含进度条和文件夹浏览器，提升了无高级编程技能的研究人员和实践者的易用性。