[论文解读] LCCDE: A Decision-Based Ensemble Framework for Intrusion Detection in The Internet of Vehicles

Li Yang, Abdallah Shami+2 more|arXiv (Cornell University)|Aug 5, 2022

Network Security and Intrusion Detection被引用 4

一句话总结

该论文提出LCCDE，一种基于决策的集成框架，根据预测置信度为每类网络攻击选择表现最佳的梯度提升模型（XGBoost、LightGBM或CatBoost），显著提升了车联网（IoV）网络中的入侵检测准确率。该方法在Car-Hacking数据集上实现了99.9997%的近乎完美F1分数，在CICIDS2017数据集上实现了99.811%的F1分数，优于现有最先进方法。

ABSTRACT

Modern vehicles, including autonomous vehicles and connected vehicles, have adopted an increasing variety of functionalities through connections and communications with other vehicles, smart devices, and infrastructures. However, the growing connectivity of the Internet of Vehicles (IoV) also increases the vulnerabilities to network attacks. To protect IoV systems against cyber threats, Intrusion Detection Systems (IDSs) that can identify malicious cyber-attacks have been developed using Machine Learning (ML) approaches. To accurately detect various types of attacks in IoV networks, we propose a novel ensemble IDS framework named Leader Class and Confidence Decision Ensemble (LCCDE). It is constructed by determining the best-performing ML model among three advanced ML algorithms (XGBoost, LightGBM, and CatBoost) for every class or type of attack. The class leader models with their prediction confidence values are then utilized to make accurate decisions regarding the detection of various types of cyber-attacks. Experiments on two public IoV security datasets (Car-Hacking and CICIDS2017 datasets) demonstrate the effectiveness of the proposed LCCDE for intrusion detection on both intra-vehicle and external networks.

研究动机与目标

• 为解决机器学习模型在车联网（IoV）网络中对不同类型网络攻击表现不一致的挑战。
• 通过为每类攻击动态选择表现最佳的模型，提升入侵检测的准确率。
• 利用预测置信度评分，增强集成式入侵检测中的决策能力。
• 在真实世界的IoV安全数据集上评估该框架，涵盖车内网络（CAN总线）和外部网络威胁。
• 展示其在性能上优于现有最先进的机器学习与集成IDS方法。

提出的方法

• LCCDE框架根据验证性能，为每类攻击选择表现最佳的机器学习模型（XGBoost、LightGBM或CatBoost）。
• 对于每类攻击，将预测置信度最高的模型指定为“类别领导者”，负责最终决策。
• 该集成方法结合各分类的领导者模型，利用其置信度评分确定最终的入侵分类结果。
• 该框架在两个公开的IoV数据集上进行训练与评估：Car-Hacking（车内网络）和CICIDS2017（外部网络）。
• 该方法采用并行执行与GPU支持，以在保持集成复杂性的同时维持高效的推理时间。
• 使用预测置信度作为决策标准，以提升多分类入侵检测中的鲁棒性与准确率。

实验结果

研究问题

• RQ1 基于每类攻击选择最佳表现模型的动态集成策略，能否提升IoV中整体入侵检测的准确率？
• RQ2 在IoV的集成式IDS中，引入预测置信度如何增强决策能力？
• RQ3 LCCDE框架是否在标准IoV安全基准测试中优于单个模型与现有集成方法？
• RQ4 所提出的LCCDE框架在检测准确率与执行时间之间存在何种权衡？
• RQ5 该框架在车内网络与外部网络数据上，对包括DoS、欺骗与暴力破解攻击在内的多种攻击类型表现如何？

主要发现

• LCCDE框架在Car-Hacking数据集上实现了近乎完美的F1分数99.9997%，优于所有对比模型。
• 在CICIDS2017数据集上，LCCDE实现了99.811%的F1分数，较次佳方法提升0.11%。
• 对于每一类单独的攻击，LCCDE均实现了最高的F1分数，表明其在所有威胁类型中均具有一致的优越性。
• 该框架在Car-Hacking上保持了185.1秒的合理执行时间，在CICIDS2017上为168.9秒，优于KNN与SVM，同时保持高效。
• 采用类别领导者模型与置信度评分显著提升了检测准确率，相比静态集成或单模型方法更具优势。
• LCCDE在F1分数与各类攻击类型的鲁棒性方面，均优于最先进的方法，如DCNN、LSTM-AE与堆叠集成模型。