[论文解读] Online Self-Supervised Deep Learning for Intrusion Detection Systems

Mert Nakıp, Erol Gelenbe|arXiv (Cornell University)|Jun 22, 2023

Network Security and Intrusion Detection参考文献 56被引用 5

一句话总结

本文提出了一种完全在线的自监督入侵检测框架（SSID），使基于机器学习的IDS能够实时适应动态的物联网网络流量，而无需离线数据收集、人工标注数据或预训练。通过使用基于信任的在线学习与自编码深度随机神经网络，SSID实现了高检测准确率——在检测物联网设备上的僵尸网络和拒绝服务（DoS）攻击方面，优于离线学习和增量学习方法。

ABSTRACT

This paper proposes a novel Self-Supervised Intrusion Detection (SSID) framework, which enables a fully online Deep Learning (DL) based Intrusion Detection System (IDS) that requires no human intervention or prior off-line learning. The proposed framework analyzes and labels incoming traffic packets based only on the decisions of the IDS itself using an Auto-Associative Deep Random Neural Network, and on an online estimate of its statistically measured trustworthiness. The SSID framework enables IDS to adapt rapidly to time-varying characteristics of the network traffic, and eliminates the need for offline data collection. This approach avoids human errors in data labeling, and human labor and computational costs of model training and data collection. The approach is experimentally evaluated on public datasets and compared with well-known {machine learning and deep learning} models, showing that this SSID framework is very useful and advantageous as an accurate and online learning DL-based IDS for IoT systems.

研究动机与目标

• 解决入侵检测系统（IDS）在缺乏静态预标注数据集的情况下，适应随时间变化的物联网网络流量的挑战。
• 消除传统基于机器学习的IDS中与离线数据收集和模型训练相关的高计算成本、人工干预和标注错误问题。
• 仅基于IDS自身的决策和信任度估计，实现基于异常检测的IDS的完全在线、参数自适应，采用自监督学习方法。
• 在动态物联网环境中提升检测准确率和受 compromise 设备的识别能力，特别是在不断演化的僵尸网络和分布式拒绝服务（DDoS）攻击下。
• 证明在线自监督学习可达到或超过离线学习和增量学习方法的性能，且无需标注数据。

提出的方法

• 提出一种两阶段学习框架：第一阶段快速适应部署网络，第二阶段持续在线学习。
• 使用自编码深度随机神经网络（Auto-Associative DRNN）重建输入流量数据包，并基于重建误差检测异常。
• 通过测量IDS在自标注数据上的泛化能力和准确率，实时估计其可信度。
• 根据IDS自身的决策及其对这些决策的信心（信任度），动态选择并标注新到达的流量数据包用于训练。
• 基于可信度、选定的训练数据包以及当前网络的安全状态，确定模型参数更新的最佳时机。
• 使任何基于异常的IDS都能以完全在线、自监督的方式运行，无需外部数据或人工监督。

Figure 1: Detection and learning processes of IDS within the Fully Online Self-Supervised Intrusion Detection (SSID) framework

实验结果

研究问题

• RQ1 自监督的完全在线学习框架能否消除基于机器学习的物联网IDS中对离线数据收集和人工标注的需求？
• RQ2 通过所提出的SSID框架训练的IDS在检测恶意流量方面，与离线学习和增量学习方法相比表现如何？
• RQ3 SSID框架在演化中的僵尸网络和DDoS攻击期间，能在多大程度上提升受 compromise 物联网设备的识别能力？
• RQ4 SSID中的基于信任的决策机制如何确保在动态网络环境中实现可靠且自适应的参数更新？
• RQ5 SSID框架能否在避免传统训练流程的计算和人力成本的同时，维持高检测准确率？

主要发现

• 在DDoS TCP攻击期间，SSID框架在检测受 compromise 设备方面实现了显著更高的中位数准确率——达到91%，而使用顺序学习的CDIS仅为73%。
• 在DDoS UDP攻击中，SSID将所有IP地址的中位数平衡准确率提升至88%以上，较顺序学习提高了11个百分点。
• 在DoS HTTP攻击中，SSID将平均性能提升了2%，在所有测试设备上均实现了至少75%的平衡准确率。
• 在DDoS HTTP攻击中，SSID与使用顺序学习的CDIS性能几乎相当，但SSID在各个独立IP地址上的表现更加一致。
• SSID框架在Kitsune数据集上进行恶意流量检测时，即使未进行任何离线训练或使用标注数据，其性能也优于离线学习和增量学习基线方法。
• 该框架通过消除数据收集、标注和预训练实验的需求，显著降低了对人工劳动和计算资源的依赖。

Figure 2: Overall structure of the IDS.