[论文解读] A Novel Dimension Reduction Scheme for Intrusion Detection Systems in IoT Environments

Amir Andalib, Vahid Tabataba Vakili|arXiv (Cornell University)|Jul 12, 2020

Network Security and Intrusion Detection参考文献 11被引用 6

一句话总结

本文提出了一种新颖的非对称深度自编码器（AE）型降维方案，用于物联网环境中的入侵检测，可在资源受限设备上实现轻量化、低计算量的数据压缩，并在中心服务器实现高效检测。该方法在三个基准数据集上实现了高达90%的数据压缩率（3D潜在空间），同时检测准确率损失极小。

ABSTRACT

Internet of Things (IoT) brings new challenges to the security solutions of computer networks. So far, intrusion detection system (IDS) is one of the effective security tools, but the vast amount of data that is generated by heterogeneous protocols and "things" alongside the constrained resources of the hosts, make some of the present IDS schemes defeated. To grant IDSs the ability of working in the IoT environments, in this paper, we propose a new distributed dimension reduction scheme which addresses the limited resources challenge. A novel autoencoder (AE) designed, and it learns to generate a latent space. Then, the constrained hosts/probes use the generated weights to lower the dimension with a single operation. The compressed data is transferred to a central IDS server to verify the traffic type. This scheme aims to lower the needed bandwidth to transfer data by compressing it and also reduce the overhead of the compression task in the hosts. The proposed scheme is evaluated on three well-known network traffic datasets (UNSW-NB15, TON\_IoT20 and NSL-KDD), and the results show that we can have a 3-dimensional latent space (about 90\% compression) without any remarkable fall in IDS detection accuracy.

研究动机与目标

• 为解决在物联网设备上部署有效入侵检测系统（IDS）时计算和存储资源受限的挑战。
• 通过在传输前对高容量网络流量数据进行压缩，减少物联网环境中的网络带宽使用。
• 利用轻量级自编码器模型，在边缘设备上实现高效、低开销的降维处理。
• 尽管经过大幅数据压缩，仍通过中心化的高保真度决策引擎维持高IDS检测准确率。
• 在代表现代物联网和网络流量的多样化、真实世界网络流量数据集上评估所提出的方案。

提出的方法

• 在中心服务器上对完整的网络流量数据集训练深度自编码器（AE），以学习压缩的潜在空间表征。
• 将训练好的编码器权重部署到资源受限的物联网设备（探测器）上用于推理，实现一步到位的降维。
• 将潜在空间压缩至3个维度，实现约90%的压缩率，且信息损失可忽略不计。
• 通过低带宽通道（包括网络或隔离介质如USB）将压缩后的数据传输至中心IDS服务器。
• 在服务器端，使用随机森林（RF）分类器基于压缩后的特征对流量进行分类，判断为正常或恶意。
• 非对称设计将繁重的训练任务（在服务器上）与轻量级推理（在边缘设备上）分离，最大限度降低边缘侧计算开销。

实验结果

研究问题

• RQ1 深度自编码器能否在物联网环境中有效压缩网络流量数据，同时保留与检测相关的特征？
• RQ2 通过自编码器进行降维在多大程度上可减少物联网入侵检测系统中的带宽使用？
• RQ3 当使用压缩后的潜在表征而非原始数据时，中心化IDS的检测准确率如何？
• RQ4 在压缩效率与检测性能之间取得平衡时，潜在空间的最优维度是多少？
• RQ5 轻量级、仅用于推理的自编码器能否在资源受限的物联网设备上高效部署，实现实时流量压缩？

主要发现

• 所提出的方案实现了3维潜在空间，实现了约90%的数据压缩率，且IDS检测准确率损失极小。
• 在UNSW-NB15数据集上，即使压缩至3D潜在空间，模型仍保持高检测性能。
• TON_IoT20数据集的结果证实了该压缩方案在多样化物联网网络流量模式下的鲁棒性。
• NSL-KDD数据集的评估结果表明性能稳定，验证了该方法在不同流量特征下的泛化能力。
• 非对称自编码器设计成功将计算负载卸载至服务器，实现了边缘设备上的低计算量部署。
• 在压缩特征上使用随机森林分类器实现了具有竞争力的检测准确率，证实了所学习潜在表征的保真度。