[论文解读] CATBERT: Context-Aware Tiny BERT for Detecting Social Engineering Emails

Younghoo Lee, Joshua Saxe+1 more|arXiv (Cornell University)|Oct 7, 2020

Personal Information Management and User Behavior参考文献 20被引用 19

一句话总结

CATBERT 是一种上下文感知的剪枝 BERT 模型，通过整合邮件正文中和邮件头中的特征，以 1% 的假阳性率实现了 87% 的检测率，能够检测针对性的社会工程学钓鱼邮件。通过将一半的 Transformer 块替换为轻量级适配器，并引入上下文元数据，该模型在准确率、速度（比 DistilBERT 快 160%）以及对拼写错误和同义词替换的鲁棒性方面，均优于 LSTM、逻辑回归和 DistilBERT 基线模型。

ABSTRACT

Targeted phishing emails are on the rise and facilitate the theft of billions of dollars from organizations a year. While malicious signals from attached files or malicious URLs in emails can be detected by conventional malware signatures or machine learning technologies, it is challenging to identify hand-crafted social engineering emails which don't contain any malicious code and don't share word choices with known attacks. To tackle this problem, we fine-tune a pre-trained BERT model by replacing the half of Transformer blocks with simple adapters to efficiently learn sophisticated representations of the syntax and semantics of the natural language. Our Context-Aware network also learns the context representations between email's content and context features from email headers. Our CatBERT(Context-Aware Tiny Bert) achieves a 87% detection rate as compared to DistilBERT, LSTM, and logistic regression baselines which achieve 83%, 79%, and 54% detection rates at false positive rates of 1%, respectively. Our model is also faster than competing transformer approaches and is resilient to adversarial attacks which deliberately replace keywords with typos or synonyms.

研究动机与目标

• 解决传统签名检测和基于机器学习的检测方法难以检测手工制作、针对性的钓鱼邮件的问题，因为这些邮件缺乏共享关键词或恶意代码。
• 通过将邮件头中的上下文特征与邮件正文中自然语言表示相结合，提升检测性能。
• 在保持高准确率的同时，降低模型复杂度和推理延迟，实现实时安全系统中的部署。
• 增强对对抗性规避技术（如拼写错误替换和同义词替换）的鲁棒性。

提出的方法

• 通过用轻量级适配器替换一半的 Transformer 块，微调预训练 BERT 模型，以减小模型大小和计算成本。
• 将邮件头中的上下文特征（如发件人-收件人关系、域名信息）与基于 BERT 的文本表示相结合，以提高检测准确率。
• 采用两阶段训练：先在大规模良性文本上进行预训练，再在包含正文和邮件头特征的针对性钓鱼邮件数据集上进行微调。
• 采用混合架构，结合 BERT 的上下文注意力机制与适配器模块，在减少参数量的同时保持性能。
• 使用 LIME 实现局部可解释性，以验证模型决策并评估其对对抗性扰动的鲁棒性。
• 通过同义词替换和拼写错误注入生成对抗样本，评估模型在规避尝试下的鲁棒性。

实验结果

研究问题

• RQ1 微调并压缩后的 BERT 模型是否能有效检测缺乏共享关键词或恶意代码的针对性钓鱼邮件？
• RQ2 与仅使用邮件正文中内容的模型相比，整合邮件头上下文特征在多大程度上提升了基于 NLP 的钓鱼检测器的检测性能？
• RQ3 基于适配器的压缩在多大程度上减少了模型大小和推理时间，同时不牺牲检测准确率？
• RQ4 该模型在面对通过同义词替换或拼写错误来规避检测的对抗性攻击时，其鲁棒性如何？
• RQ5 当面临语义扰动（如词语重排或同义词替换）时，该模型是否仍能保持高性能？

主要发现

• 在相同条件下，CATBERT 实现了 87% 的检测率和 1% 的假阳性率，显著优于 DistilBERT（83%）、LSTM（79%）和逻辑回归（54%）。
• 与 DistilBERT 相比，CATBERT 模型小 15%，推理速度快 160%，而 DistilBERT 本身已比标准 BERT 小 40%，因此可实现高效的实时部署。
• CATBERT 对对抗性攻击表现出强鲁棒性：在同义词替换和拼写错误注入下均保持高准确率，而基线模型则出现显著性能下降。
• LIME 分析表明，CATBERT 能够正确识别可疑标记，如 'Payment' 和 'P@yment'，即使这些词通过拼写错误或 Unicode 字符进行混淆。
• 与原始 BERT 相比，集成邮件头上下文特征显著提升了检测性能，凸显了元数据在钓鱼检测中的价值。
• 该模型通过识别子词标记如 'P' 和 'yment' 为可疑，成功检测出经过对抗性修改的邮件，展示了对 Unicode 混淆攻击的鲁棒性。