[论文解读] DeepCapture: Image Spam Detection Using Deep Learning and Data Augmentation

Bedeuro Kim, Alsharif Abuadbba+1 more|arXiv (Cornell University)|Jun 16, 2020

Spam and Phishing Detection参考文献 19被引用 7

一句话总结

DeepCapture 提出了一种结合 CNN-XGBoost 与任务特定数据增强的模型，以提升图像垃圾邮件检测性能，F1 得分达到 88%，较现有最佳模型（CNN-SVM）高出 6 个百分点。该方法通过定制化的增强技术生成多样化的训练样本，增强了对未见过的垃圾邮件图像的鲁棒性。

ABSTRACT

Image spam emails are often used to evade text-based spam filters that detect spam emails with their frequently used keywords. In this paper, we propose a new image spam email detection tool called DeepCapture using a convolutional neural network (CNN) model. There have been many efforts to detect image spam emails, but there is a significant performance degrade against entirely new and unseen image spam emails due to overfitting during the training phase. To address this challenging issue, we mainly focus on developing a more robust model to address the overfitting problem. Our key idea is to build a CNN-XGBoost framework consisting of eight layers only with a large number of training samples using data augmentation techniques tailored towards the image spam detection task. To show the feasibility of DeepCapture, we evaluate its performance with publicly available datasets consisting of 6,000 spam and 2,313 non-spam image samples. The experimental results show that DeepCapture is capable of achieving an F1-score of 88%, which has a 6% improvement over the best existing spam detection model CNN-SVM with an F1-score of 82%. Moreover, DeepCapture outperformed existing image spam detection solutions against new and unseen image datasets.

研究动机与目标

• 解决现有图像垃圾邮件检测器在全新且未见过的垃圾邮件数据集上性能下降的问题。
• 克服在有限或类别不平衡的图像垃圾邮件数据集上训练的深度学习模型的过拟合问题。
• 开发一种鲁棒、轻量级的 CNN-XGBoost 框架，专为图像垃圾邮件检测优化，且超参数最少。
• 通过引入针对图像垃圾邮件特征定制的任务特定数据增强技术，提升模型泛化能力。
• 在涉及未见过的垃圾邮件数据集的跨数据训练场景中，展示优越的性能。

提出的方法

• 设计一个包含八层的深度 CNN 架构，通过超参数调优（滤波器数量、滤波器大小、激活函数、训练轮数、批量大小）优化其在图像垃圾邮件检测中的性能。
• 在 CNN 最后一层特征之上集成 XGBoost 作为分类器，以改善决策边界并提升泛化能力。
• 应用针对图像垃圾邮件特制的数据增强技术，如图像旋转、缩放、颜色抖动和噪声注入，以增加训练多样性。
• 通过增强少数类（正常邮件）来平衡训练数据集，缓解类别不平衡问题，提升模型鲁棒性。
• 使用公开可用的数据集（6,000 封垃圾邮件，2,313 封正常邮件）进行训练与评估，并通过跨数据训练场景测试泛化能力。
• 使用 F1 得分、精确率和召回率在域内与域外（未见过的）数据集上评估模型性能。

实验结果

研究问题

• RQ1 带有任务特定数据增强的 CNN-XGBoost 模型是否能在 F1 得分上超越现有图像垃圾邮件检测模型？
• RQ2 数据增强在全新且未见过的图像垃圾邮件数据集上的模型泛化能力方面有何影响？
• RQ3 在测试数据分布与训练数据分布不同的跨数据训练场景中，所提出的模型是否仍能保持高性能？
• RQ4 针对图像垃圾邮件检测，CNN 架构与超参数的最优配置是什么，以实现最小复杂度？
• RQ5 数据增强在多大程度上能减少过拟合并提升图像垃圾邮件检测的鲁棒性？

主要发现

• DeepCapture 达到了 88% 的 F1 得分，较现有最佳模型 CNN-SVM（82%）高出 6 个百分点。
• 在全新且未见过的垃圾邮件数据集的跨数据训练场景中，DeepCapture 维持了最高的 F1 得分，优于所有其他分类器。
• 在无数据增强的情况下，所有分类器在跨数据场景中的 F1 得分均低于 40%，凸显了增强技术对鲁棒性的必要性。
• 数据增强的集成显著提升了模型泛化能力，尤其是在未见过的垃圾邮件样本上，有效减少了过拟合。
• 仅含八层的 CNN-XGBoost 框架在性能上优于更深的模型（如 13 层的 CNN-SVM），表明其兼具高效性与有效性。
• 该模型在真实世界图像垃圾邮件数据集上表现出色，证实了其在垃圾邮件过滤系统中部署的可行性与实用性。