[论文解读] Anomaly Detection in Intra-Vehicle Networks

Ajeet Kumar Dwivedi|arXiv (Cornell University)|May 7, 2022

Vehicular Ad Hoc Networks (VANETs)被引用 6

一句话总结

本文提出一种基于机器学习的入侵检测系统（IDS），用于基于CAN总线通信的车载网络，利用消息频率和时间戳等时间序列特征检测已知网络攻击。该方法在包含时间序列数据时，LSTM、XGBoost和SVM分类器均达到100%准确率，整体准确率超过99%，证明了时间模式在异常检测中的关键作用。

ABSTRACT

The progression of innovation and technology and ease of inter-connectivity among networks has allowed us to evolve towards one of the promising areas, the Internet of Vehicles. Nowadays, modern vehicles are connected to a range of networks, including intra-vehicle networks and external networks. However, a primary challenge in the automotive industry is to make the vehicle safe and reliable; particularly with the loopholes in the existing traditional protocols, cyber-attacks on the vehicle network are rising drastically. Practically every vehicle uses the universal Controller Area Network (CAN) bus protocol for the communication between electronic control units to transmit key vehicle functionality and messages related to driver safety. The CAN bus system, although its critical significance, lacks the key feature of any protocol authentication and authorization. Resulting in compromises of CAN bus security leads to serious issues to both car and driver safety. This paper discusses the security issues of the CAN bus protocol and proposes an Intrusion Detection System (IDS) that detects known attacks on in-vehicle networks. Multiple Artificial Intelligence (AI) algorithms are employed to provide recognition of known potential cyber-attacks based on messages, timestamps, and data packets traveling through the CAN. The main objective of this paper is to accurately detect cyberattacks by considering time-series features and attack frequency. The majority of the evaluated AI algorithms, when considering attack frequency, correctly identify known attacks with remarkable accuracy of more than 99%. However, these models achieve approximately 92% to 97% accuracy when timestamps are not taken into account. Long Short Term Memory (LSTM), Xgboost, and SVC have proved to the well-performing classifiers.

研究动机与目标

• 为应对由于CAN总线协议缺乏认证机制而导致的车载网络网络攻击威胁日益加剧的问题。
• 设计一种有效的入侵检测系统（IDS），能够检测基于CAN的车载网络中的已知攻击。
• 评估时间序列特征（尤其是消息频率和时间戳）对异常检测准确率的影响。
• 在有无时间特征的情况下，对比多种机器学习模型对四类已知CAN总线攻击的分类性能。
• 证明整合时间序列数据可显著提升检测性能，尤其对LSTM等序列模型而言。

提出的方法

• IDS在多类别分类数据集上进行训练，该数据集结合了来自不同年份的真实CAN通信流量和合成攻击数据，需对异构数据集进行特征对齐。
• 关键特征包括消息ID、数据长度、攻击频率（秒）、以及基于时间戳的小时信息，以捕捉时间模式。
• 评估了多种机器学习模型：监督学习（逻辑回归、SVC）、集成学习（随机森林、XGBoost）和深度学习（前馈神经网络、LSTM）。
• 通过交叉验证评估模型性能，使用准确率、F1分数和混淆矩阵来衡量检测效果。
• 在消融研究中系统性地排除时间序列特征，以隔离其对检测性能的贡献。
• 该框架旨在基于消息频率和时间上的异常，检测四类已知攻击：拒绝服务（DoS）、模糊测试（Fuzzing）、重放（Replay）和删除（Deletion）攻击。

实验结果

研究问题

• RQ1 时间序列特征（如消息频率和时间戳）的引入在多大程度上提升了CAN总线网络中异常检测的准确率？
• RQ2 在时间序列数据上进行训练时，哪些机器学习模型在检测已知CAN总线攻击方面实现了最高的检测准确率？
• RQ3 不同模型架构（监督学习、集成学习、深度学习）在检测车载网络入侵时，从时间特征中受益的程度如何？
• RQ4 统一的IDS框架能否有效对跨不同年份采集的异构数据集中的多种攻击类型进行分类？
• RQ5 在IDS设计中排除时间特征时，检测准确率与模型鲁棒性之间存在何种权衡？

主要发现

• 时间序列特征（尤其是消息频率和一天中的小时）的引入显著提升了检测准确率，大多数模型的准确率超过99%。
• 当使用时间序列特征时，LSTM、XGBoost和SVM分类器均实现了100%的准确率和F1分数，证明其在时间异常检测方面具有极强的适用性。
• 在无时间序列特征的情况下，表现最佳的模型（XGBoost、SVM、随机森林）准确率仅为97%-98%，表明时间数据对实现最优性能至关重要。
• LSTM在无时间序列数据时性能下降最为显著（从100%降至78.25%），凸显其对序列模式的强依赖性。
• 当引入时间序列特征时，混淆矩阵显示所有类别均实现接近完美的真正例率（100%），表明攻击分类具有高度可靠性。
• 本研究证实，时间序列特征不仅有益，更是实现在CAN总线IDS中顶尖检测准确率的关键要素，尤其对重复性或基于频率的攻击而言。