[论文解读] Detecting and Characterizing Lateral Phishing at Scale

Grant Ho, Asaf Cidon+6 more|arXiv (Cornell University)|Oct 2, 2019

Spam and Phishing Detection被引用 43

一句话总结

该论文通过对来自92个机构的1.13亿员工发送的邮件进行大规模横向钓鱼检测与特征分析，实现87.3%的检测率，假阳性率低于每百万封邮件4个以下，并分析攻击者策略。

ABSTRACT

We present the first large-scale characterization of lateral phishing attacks, based on a dataset of 113 million employee-sent emails from 92 enterprise organizations. In a lateral phishing attack, adversaries leverage a compromised enterprise account to send phishing emails to other users, benefitting from both the implicit trust and the information in the hijacked user's account. We develop a classifier that finds hundreds of real-world lateral phishing emails, while generating under four false positives per every one-million employee-sent emails. Drawing on the attacks we detect, as well as a corpus of user-reported incidents, we quantify the scale of lateral phishing, identify several thematic content and recipient targeting strategies that attackers follow, illuminate two types of sophisticated behaviors that attackers exhibit, and estimate the success rate of these attacks. Collectively, these results expand our mental models of the 'enterprise attacker' and shed light on the current state of enterprise phishing attacks.

研究动机与目标

• 研究横向钓鱼在真实世界企业中的规模与影响。
• 在极少数据（历史邮件）条件下开发实用的检测器，以实现低误报率。
• 描述横向钓鱼在大规模部署中的攻击者策略、目标选择与内容定制。

提出的方法

• 构建一个基于收件人集合、诱饵关键词和URL声誉等特征的URL型横向钓鱼检测分类器。
• 使用三个特征集合：收件人相关性（每封邮件的收件人数以及与历史收件人集合的相似度）、基于可疑关键词列表的诱饵指示符，以及通过全局与局部URL声誉特征的利用指示符。
• 在用户报告的攻击与无害邮件的真实基线混合数据上训练随机森林分类器，采用交叉验证与200:1无害邮件对攻击样本的采样比。
• 以时间分割进行评估：用2018年4–6月来自52个探索性机构的数据进行训练，用2018年7–10月来自92个机构的数据进行测试，并包含一个保留的40个机构。
• 在事件级别（唯一的（主题、发件人）对）上报告指标，以反映实际告警行为。

实验结果

研究问题

• RQ1 横向钓鱼在多家企业中的规模与流行程度是多少？
• RQ2 在极少数据（历史邮件）条件下，检测器是否仍能实现实用的准确性？
• RQ3 在真实部署中，攻击者的行为与内容策略有哪些特征？
• RQ4 检测器在识别已知与新横向钓鱼事件方面有多有效，会产生多少误报？

主要发现

Metric	April – June 2018 (Training)	July – October 2018 (Testing)
Organizations	52 Exploratory	52 Exploratory + 40 Test
Detected Known Attacks	34	47
Detected New Attacks	28	49
Missed Attacks (FN)	8	14
Detection Rate	88.6%	87.3%
Total Emails	25,670,264	87,413,431
False Positives (FP)	136	316
False Positive Rate	0.00053%	0.00036%
Precision	31.3%	23.3%

• 检测器在测试集中识别了87.3%的横向钓鱼事件。
• 检测器在测试期的87,413,431封邮件中产生316个误报，误报率为0.00036%。
• 在训练数据（2018年4–6月）中，检测器正确识别了88.6%的事件，25.7百万封邮件中共有62个误报。
• 在测试数据集中，检测器发现了未被用户报告的49起新事件和47起已知事件，精确率为23.3%，检测率为87.3%。
• 全局URL声誉与收件人为权重的最重要特征（权重分别为0.42和0.34）。