[论文解读] Classifier Suites for Insider Threat Detection

David Noever|arXiv (Cornell University)|Jan 30, 2019

Information and Cyber Security参考文献 12被引用 14

一句话总结

本论文基于CERT数据集，对16类共88种机器学习算法在内部威胁检测中的表现进行了评估，发现通过利用包括员工情绪在内的风险特征，随机森林分类器的准确率超过98%。研究通过生成超过2000条人类可读的规则，强调了可解释性，并通过欠采样和过采样技术应对数据不平衡问题，从而提升对罕见恶意行为（占总活动的<0.02%）的检测能力。

ABSTRACT

Better methods to detect insider threats need new anticipatory analytics to capture risky behavior prior to losing data. In search of the best overall classifier, this work empirically scores 88 machine learning algorithms in 16 major families. We extract risk features from the large CERT dataset, which blends real network behavior with individual threat narratives. We discover the predictive importance of measuring employee sentiment. Among major classifier families tested on CERT, the random forest algorithms offer the best choice, with different implementations scoring over 98% accurate. In contrast to more obscure or black-box alternatives, random forests are ensembles of many decision trees and thus offer a deep but human-readable set of detection rules (&gt;2000 rules). We address performance rankings by penalizing long execution times against higher median accuracies using cross-fold validation. We address the relative rarity of threats as a case of low signal-to-noise (&lt; 0.02% malicious to benign activities), and then train on both under-sampled and over-sampled data which is statistically balanced to identify nefarious actors.

研究动机与目标

• 识别在企业环境中检测内部威胁最有效的机器学习分类器。
• 评估行为特征和基于情绪的特征在识别高风险内部行为方面的预测价值。
• 解决内部威胁数据集中极端类别不平衡问题（恶意活动占比小于0.02%）。
• 通过集成模型生成人类可读的决策规则，构建透明且可解释的检测系统。
• 通过交叉验证和模型的惩罚性排序，平衡性能、准确率和执行时间。

提出的方法

• 在CERT内部威胁数据集上，对16大类共88种机器学习算法进行实证评估。
• 从网络行为日志和威胁叙述中提取风险特征，包括员工情绪度量指标。
• 应用欠采样和过采样技术，为罕见威胁案例创建统计上平衡的训练集。
• 使用10折交叉验证评估中位数准确率，并在性能排序中对长执行时间进行惩罚。
• 训练并评估随机森林模型，其可生成超过2000条人类可读的决策规则，以增强可解释性。
• 基于综合评分对分类器进行排序，该评分平衡了中位数准确率和执行时间，以优先考虑实际部署。

实验结果

研究问题

• RQ1 在CERT数据集中，哪些机器学习分类器家族在检测内部威胁方面表现最佳？
• RQ2 将员工情绪作为特征引入后，对内部威胁检测模型的预测性能有何影响？
• RQ3 数据不平衡（恶意活动占比<0.02%）在多大程度上影响分类器性能？可通过何种方法缓解？
• RQ4 集成模型（如随机森林）是否能通过规则提取同时实现高准确率和可解释性？
• RQ5 在内部威胁检测系统中，模型准确率、执行时间与可解释性之间存在何种权衡？

主要发现

• 随机森林分类器表现最佳，多个实现版本在CERT数据集上的准确率超过98%。
• 将员工情绪作为风险特征显著提升了模型的预测能力。
• 随机森林生成了超过2000条人类可读的决策规则，实现了检测逻辑的完全可解释性和可审计性。
• 研究证明，欠采样和过采样技术能有效平衡高度不平衡的数据，提升对罕见内部威胁的检测能力。
• 对执行时间进行惩罚的性能排序方法，将随机森林识别为最优选择，因其兼具高准确率和合理的运行时间。
• 在所有测试算法中，随机森林在准确率、可解释性和计算效率之间提供了最佳权衡。