[论文解读] Deep Learning for Insider Threat Detection: Review, Challenges and Opportunities

Shuhan Yuan, Xintao Wu|arXiv (Cornell University)|May 25, 2020

Network Security and Intrusion Detection参考文献 82被引用 19

一句话总结

本文综述了深度学习在内部威胁检测中的应用，突出显示RNN、GNN和CNN等模型通过端到端学习复杂行为模式，相较于传统机器学习在检测性能上有所提升。尽管取得进展，但数据稀缺和自适应攻击等问题仍限制性能，因此亟需可解释AI、强化学习以及更优的评估指标（如累积召回率CR-k）。

ABSTRACT

Insider threats, as one type of the most challenging threats in cyberspace, usually cause significant loss to organizations. While the problem of insider threat detection has been studied for a long time in both security and data mining communities, the traditional machine learning based detection approaches, which heavily rely on feature engineering, are hard to accurately capture the behavior difference between insiders and normal users due to various challenges related to the characteristics of underlying data, such as high-dimensionality, complexity, heterogeneity, sparsity, lack of labeled insider threats, and the subtle and adaptive nature of insider threats. Advanced deep learning techniques provide a new paradigm to learn end-to-end models from complex data. In this brief survey, we first introduce one commonly-used dataset for insider threat detection and review the recent literature about deep learning for such research. The existing studies show that compared with traditional machine learning algorithms, deep learning models can improve the performance of insider threat detection. However, applying deep learning to further advance the insider threat detection task still faces several limitations, such as lack of labeled data, adaptive attacks. We then discuss such challenges and suggest future research directions that have the potential to address challenges and further boost the performance of deep learning for insider threat detection.

研究动机与目标

• 综述使用真实世界数据集和深度架构的深度学习在内部威胁检测中的最新进展。
• 识别将深度学习应用于内部威胁检测时面临的关键挑战，包括数据稀疏性、缺乏标注的威胁样本以及自适应攻击。
• 提出未来研究方向，如可解释AI、深度强化学习以及改进的评估指标。
• 弥补目前缺乏聚焦于深度学习在内部威胁检测中应用的全面综述的空白。
• 倡导开发更适合高风险、低频次内部威胁特性的专用测试平台和评估指标。

提出的方法

• 调研近期关于RNN、CNN、GNN和自编码器等深度学习模型在使用审计数据进行内部威胁检测中的应用文献。
• 以CERT数据集作为内部威胁研究的标准基准，指出其具有合成性和简化性特征。
• 提出将深度强化学习作为框架，通过与环境交互学习最优检测策略，并可能结合逆向强化学习推断奖励函数。
• 整合可解释AI技术（如反事实解释）以提升模型可解释性，并实现对恶意行为序列的细粒度检测。
• 采用CR-k指标进行模型评估，该指标基于召回率，聚合多种检测预算下的性能表现，以反映现实中的操作约束。
• 将元学习与模仿学习结合到深度强化学习中，以缓解低样本内部威胁场景下的数据稀缺问题。

实验结果

研究问题

• RQ1 在不同数据模态下，深度学习模型与传统机器学习在检测内部威胁方面表现如何比较？
• RQ2 将深度学习应用于内部威胁检测时，其主要挑战是什么，特别是数据稀缺性和内部人员自适应攻击行为问题？
• RQ3 深度强化学习能否有效应用于内部威胁检测？设计合适奖励函数时面临哪些障碍？
• RQ4 可解释AI技术如何提升深度学习模型在高风险内部威胁检测中的可信度与精确度？
• RQ5 哪些评估指标最适合内部威胁检测？新指标如CR-k如何更好地反映实际运行性能？

主要发现

• RNN和GNN等深度学习模型通过从原始或极少预处理的用户行为数据中自动学习分层表征，优于传统机器学习方法。
• 尽管性能有所提升，但内部威胁检测的深度学习模型仍受限于标注数据不足，尤其是罕见恶意事件，这阻碍了模型训练与泛化能力。
• 自适应攻击（即内部人员修改行为以规避检测）构成重大挑战，因现有模型往往无法在威胁模式持续演变时保持泛化能力。
• 提出累积召回率（CR-k）作为比标准F1或AUC更实用的评估指标，因其能反映现实中的检测预算，并优先考虑召回率而非精确率。
• 可解释AI，特别是反事实解释，在识别触发恶意预测的具体行为模式方面展现出潜力，有助于实现细粒度威胁分析。
• 未来工作应聚焦于将元学习与模仿学习整合到深度强化学习中，以降低对数据的依赖，并提升在低数据场景下的鲁棒性。