[论文解读] Autoencoder-based Unsupervised Intrusion Detection using Multi-Scale Convolutional Recurrent Networks

Amardeep Singh, Julian Jang‐Jaccard|arXiv (Cornell University)|Apr 7, 2022

Network Security and Intrusion Detection被引用 14

一句话总结

该论文提出了一种无监督异常检测模型 MSCNN-LSTM-AE，结合多尺度卷积神经网络进行空间特征提取，以及基于LSTM的自编码器进行时间模式学习，以处理网络流量数据。该模型在CICDDoS2019数据集上实现了最先进的性能，召回率（98.81%）和F1值（98.46%）均表现优异，通过联合时空建模与基于孤立森林的误差校正机制，显著优于现有无监督方法。

ABSTRACT

The massive growth of network traffic data leads to a large volume of datasets. Labeling these datasets for identifying intrusion attacks is very laborious and error-prone. Furthermore, network traffic data have complex time-varying non-linear relationships. The existing state-of-the-art intrusion detection solutions use a combination of various supervised approaches along with fused features subsets based on correlations in traffic data. These solutions often require high computational cost, manual support in fine-tuning intrusion detection models, and labeling of data that limit real-time processing of network traffic. Unsupervised solutions do reduce computational complexities and manual support for labeling data but current unsupervised solutions do not consider spatio-temporal correlations in traffic data. To address this, we propose a unified Autoencoder based on combining multi-scale convolutional neural network and long short-term memory (MSCNN-LSTM-AE) for anomaly detection in network traffic. The model first employs Multiscale Convolutional Neural Network Autoencoder (MSCNN-AE) to analyze the spatial features of the dataset, and then latent space features learned from MSCNN-AE employs Long Short-Term Memory (LSTM) based Autoencoder Network to process the temporal features. Our model further employs two Isolation Forest algorithms as error correction mechanisms to detect false positives and false negatives to improve detection accuracy. %Additionally, covariance matrices forms a Riemannian manifold that is naturally embedded with distance metrices that facilitates descriminative patterns for detecting malicious network traffic. We evaluated our model NSL-KDD, UNSW-NB15, and CICDDoS2019 dataset and showed our proposed method significantly outperforms the conventional unsupervised methods and other existing studies on the dataset.

研究动机与目标

• 解决无监督异常检测中高维、时变、非线性网络流量数据的挑战，且无需依赖昂贵的人工标注。
• 克服现有无监督模型在捕捉网络流量中空间与时间相关性方面的局限性。
• 构建一个统一的自编码器框架，以无监督方式联合学习空间与时间特征。
• 通过两级孤立森林误差校正机制，降低异常检测中的误报与漏报率。
• 在基准数据集上展示优越性能，尤其在召回率与F1值方面，优于当前最先进的无监督与有监督方法。

提出的方法

• 采用多尺度卷积神经网络自编码器（MSCNN-AE）无监督地从网络流量特征中提取空间模式。
• 使用基于长短期记忆网络（LSTM）的自编码器，建模MSCNN-AE学习到的潜在空间中的时间依赖性。
• 将MSCNN-AE与LSTM-AE整合为统一的MSCNN-LSTM-AE架构，无标签地联合学习时空表征。
• 应用两级孤立森林算法，校正自编码器中基于阈值的重构误差所产生的误报与漏报。
• 通过重构损失端到端训练自编码器，以最小化输入与重构流量数据之间的差异。
• 将重构误差作为异常评分，利用孤立森林优化最终分类结果，以提升精确率与召回率。

实验结果

研究问题

• RQ1 统一的自编码器架构能否有效捕捉无标签网络流量数据中的空间与时间依赖性，以实现异常检测？
• RQ2 所提出的MSCNN-LSTM-AE模型在召回率与F1值方面，相较于现有无监督与有监督异常检测模型表现如何？
• RQ3 两级孤立森林误差校正机制在多大程度上降低了基于自编码器的异常检测中的误报与漏报率？
• RQ4 该模型在NSL-KDD、UNSW-NB15与CICDDoS2019等多样化基准数据集上是否具备良好的泛化能力？
• RQ5 该模型是否能在无需人工标注或大量超参数调优的情况下实现高性能检测？

主要发现

• 所提出的MSCNN-LSTM-AE模型在CICDDoS2019数据集上达到99.56%准确率、98.91%精确率、98.81%召回率与98.46% F1值，显著优于对比表中列出的所有基线方法。
• 在NSL-KDD数据集上，模型实现93.30%准确率、95.75%精确率、92.33%召回率与94.01% F1值，显著超过先前无监督模型如自编码器（84.21%准确率）与LSTM（82.04%准确率）。
• 在UNSW-NB15数据集上，模型实现89%准确率、88%精确率、89%召回率与87% F1值，优于AdaBoost（86.41%准确率）与Extra Trees（86.73%准确率）等方法。
• 孤立森林的集成有效降低了误报与漏报率，相较于仅使用阈值的自编码器检测，显著提升了F1值与召回率。
• 该模型在多样化数据集上表现出强鲁棒性，包括以DDoS攻击为主的CICDDoS2019数据集，且无需标注数据或大量超参数调优即展现出优异泛化能力。
• 结果表明，通过MSCNN-LSTM-AE实现的联合时空建模对高性能无监督异常检测至关重要，尤其在检测稀有或复杂攻击模式方面表现突出。