[论文解读] A Decade of Mal-Activity Reporting: A Retrospective Analysis of Internet Malicious Activity Blacklists

Benjamin Zi Hao Zhao, Muhammad Ikram+4 more|arXiv (Cornell University)|Apr 24, 2019

Network Security and Intrusion Detection参考文献 24被引用 4

一句话总结

本文对十年间互联网恶意活动黑名单进行了回顾性分析，利用基于157万条已标注报告训练的机器学习分类器，对5160万条恶意活动报告进行了六类分类。主要贡献在于公开了一个数据集并开展分析，结果显示网络钓鱼和恶意软件占主导地位，少数IP地址、自治系统（AS）和国家负责了大部分恶意活动，表明针对性的缓解措施比广泛过滤更有效。

ABSTRACT

This paper focuses on reporting of Internet malicious activity (or mal-activity in short) by public blacklists with the objective of providing a systematic characterization of what has been reported over the years, and more importantly, the evolution of reported activities. Using an initial seed of 22 blacklists, covering the period from January 2007 to June 2017, we collect more than 51 million mal-activity reports involving 662K unique IP addresses worldwide. Leveraging the Wayback Machine, antivirus (AV) tool reports and several additional public datasets (e.g., BGP Route Views and Internet registries) we enrich the data with historical meta-information including geo-locations (countries), autonomous system (AS) numbers and types of mal-activity. Furthermore, we use the initially labelled dataset of approx 1.57 million mal-activities (obtained from public blacklists) to train a machine learning classifier to classify the remaining unlabeled dataset of approx 44 million mal-activities obtained through additional sources. We make our unique collected dataset (and scripts used) publicly available for further research. The main contributions of the paper are a novel means of report collection, with a machine learning approach to classify reported activities, characterization of the dataset and, most importantly, temporal analysis of mal-activity reporting behavior. Inspired by P2P behavior modeling, our analysis shows that some classes of mal-activities (e.g., phishing) and a small number of mal-activity sources are persistent, suggesting that either blacklist-based prevention systems are ineffective or have unreasonably long update periods. Our analysis also indicates that resources can be better utilized by focusing on heavy mal-activity contributors, which constitute the bulk of mal-activities.

研究动机与目标

• 系统性地描述2007年至2017年期间报告的恶意互联网活动的演变过程。
• 理解恶意活动报告的动态特征，包括恶意主机的持久性和重复出现行为。
• 识别对恶意活动具有重大贡献的源头（IP、AS、国家），这些源头主导了威胁格局。
• 开发并验证一种基于元数据的机器学习分类器，用于对未标注的恶意活动报告进行分类。
• 发布一个包含5160万条恶意活动报告的综合性、历史增强型数据集，供公众研究使用。

提出的方法

• 从2007年至2017年期间的22个公共黑名单中收集了227万条初始恶意活动报告。
• 利用互联网档案馆（Wayback Machine）、杀毒软件报告、BGP路由视图和互联网注册机构的历史元数据对数据集进行丰富。
• 基于IP、日期、AS编号、国家代码和组织名称等特征，训练了随机森林分类器的集成模型，以预测恶意活动类型。
• 在40/60%的训练/测试数据划分下，分类器对恶意活动类型的分类准确率达到93.5%。
• 使用训练好的模型对来自其他来源的4400万条此前未标注的报告预测其类型。
• 通过一种受P2P网络启发的“活跃-非活跃”循环模型，分析主机活动与非活跃周期，验证研究发现。

实验结果

研究问题

• RQ1 从2007年到2017年，各类恶意活动报告的数量和分布如何演变？
• RQ2 哪些IP地址、AS和国家是恶意活动的主要来源，威胁的集中程度如何？
• RQ3 恶意主机在多大程度上表现出持久性或重复性行为，这对黑名单的有效性有何启示？
• RQ4 使用基本元数据的机器学习分类器在预测恶意活动类型方面的有效性如何，其准确率是多少？
• RQ5 识别并聚焦于主要恶意活动贡献者，是否能显著降低总体威胁量？

主要发现

• 恶意软件在2017年仍为最主要的恶意活动类别，占所有报告的59%，而网络钓鱼上升为第二大类别，占比29%。
• 少数IP、AS和国家负责了大部分恶意活动报告，其中2200个独立AS承载了88%的与恶意软件相关的活动。
• 与其他恶意活动类别相比，恶意软件类别在托管基础设施中的出现频率高出54%，在地理位置中的出现频率高出29%。
• 自2012年以来，网络钓鱼报告持续增长，表明网络威胁策略正在发生转变。
• 许多恶意主机表现出“活动”与“非活动”交替的短期循环，表明黑名单未能有效遏制重复作案者。
• 基于基本元数据的机器学习分类器在预测恶意活动类型方面达到了93.5%的准确率，使大规模标注未标注报告成为可能。