[论文解读] Improving Phishing Detection Via Psychological Trait Scoring

Sadat Shahriar, Arjun Mukherjee+1 more|arXiv (Cornell University)|Aug 14, 2022

Spam and Phishing Detection被引用 4

一句话总结

本文提出通过将心理特质评分（特别是紧迫感、恐惧和欲望）整合到深度学习模型中，以增强钓鱼邮件检测。通过微调 BERT 和 SBERT 以提取钓鱼心理特质（PPT）评分，并将其与神经网络结合，该方法在当前最先进模型的基础上将 F1 分数提升了 4.54%，其中恐惧成为最强的检测线索。

ABSTRACT

Phishing emails exhibit some unique psychological traits which are not present in legitimate emails. From empirical analysis and previous research, we find three psychological traits most dominant in Phishing emails - A Sense of Urgency, Inducing Fear by Threatening, and Enticement with Desire. We manually label 10% of all phishing emails in our training dataset for these three traits. We leverage that knowledge by training BERT, Sentence-BERT (SBERT), and Character-level-CNN models and capturing the nuances via the last layers that form the Phishing Psychological Trait (PPT) scores. For the phishing email detection task, we use the pretrained BERT and SBERT model, and concatenate the PPT scores to feed into a fully-connected neural network model. Our results show that the addition of PPT scores improves the model performance significantly, thus indicating the effectiveness of PPT scores in capturing the psychological nuances. Furthermore, to mitigate the effect of the imbalanced training dataset, we use the GPT-2 model to generate phishing emails (Radford et al., 2019). Our best model outperforms the current State-of-the-Art (SOTA) model's F1 score by 4.54%. Additionally, our analysis of individual PPTs suggests that Fear provides the strongest cue in detecting phishing emails.

研究动机与目标

• 解决传统 NLP 方法往往忽略的心理操纵型钓鱼邮件检测挑战。
• 识别并量化钓鱼邮件中主导的心理特质——紧迫感、恐惧和欲望，以提高检测准确率。
• 通过使用 GPT-2 生成合成钓鱼邮件，克服钓鱼数据集中的类别不平衡问题。
• 开发一种混合深度学习模型，将上下文嵌入与心理特质评分融合，以实现更优性能。
• 证明心理线索（尤其是恐惧）是区分钓鱼邮件与合法邮件的强有力指标。

提出的方法

• 手动标注 10% 的钓鱼邮件，以标注三种心理特质：紧迫感、恐惧和欲望。
• 微调 BERT 和句子-BERT 模型，从最后一层提取上下文表征，并生成钓鱼心理特质（PPT）评分。
• 训练一个字符级卷积神经网络（CNN）模型，以学习与心理特质相关的低级语言模式。
• 将 PPT 评分与 BERT/SBERT 的上下文嵌入拼接，并输入全连接神经网络进行最终分类。
• 使用 GPT-2 生成合成钓鱼邮件，以扩充训练数据并缓解类别不平衡问题。
• 使用标准指标（包括 F1 分数）在基准钓鱼邮件检测数据集上训练并评估最终模型。

实验结果

研究问题

• RQ1 心理特质（如紧迫感、恐惧和欲望）在标准 NLP 特征之外，能在多大程度上提升钓鱼邮件检测效果？
• RQ2 从 BERT 和 SBERT 模型中提取的 PPT 评分在区分钓鱼邮件与合法邮件方面有何贡献？
• RQ3 通过 GPT-2 生成合成钓鱼邮件，能否有效提升模型在类别不平衡数据集上的泛化能力？
• RQ4 在紧迫感、恐惧和欲望三种心理特质中，哪一种能提供最强的钓鱼邮件检测信号？
• RQ5 心理特质评分的整合是否能显著超越现有最先进钓鱼邮件检测模型？

主要发现

• 将钓鱼心理特质（PPT）评分整合到 BERT 和 SBERT 模型中，相较于当前最先进模型，F1 分数提升了 4.54%。
• 与紧迫感和欲望相比，与恐惧相关的心理特质提供了最强的判别信号，是钓鱼邮件检测中最有效的指标。
• 使用 GPT-2 生成合成钓鱼邮件，有效缓解了模型训练过程中数据类别不平衡的影响。
• PPT 评分提取机制成功捕捉了标准 NLP 嵌入中未充分表达的细微心理线索。
• 最终模型结合上下文嵌入与 PPT 评分，在未见过的钓鱼样本上表现出稳健的泛化能力和提升的检测性能。
• 消融实验证实，每种心理特质均具有独特贡献，其中恐惧是预测力最强的单一特质。