[논문 리뷰] Anomaly Detection in Intra-Vehicle Networks

Ajeet Kumar Dwivedi|arXiv (Cornell University)|2022. 05. 07.

Vehicular Ad Hoc Networks (VANETs)인용 수 6

한 줄 요약

이 논문은 시간 시리즈 특징(메시지 주기 및 타임스탬프 포함)을 활용하여 차량 내 네트워크의 CAN 버스 트래픽을 기반으로 한 기계학습 기반 침입 탐지 시스템(Intrusion Detection System, IDS)을 제안한다. 이는 알려진 사이버 공격을 탐지하기 위해 설계되었으며, 정확도가 99% 이상을 기록한다. 특히 LSTM, XGBoost, SVM 분류기의 경우 시간 시리즈 데이터를 포함할 경우 정확도가 100%에 도달하여 시간 패턴의 중요성을 입증한다.

ABSTRACT

The progression of innovation and technology and ease of inter-connectivity among networks has allowed us to evolve towards one of the promising areas, the Internet of Vehicles. Nowadays, modern vehicles are connected to a range of networks, including intra-vehicle networks and external networks. However, a primary challenge in the automotive industry is to make the vehicle safe and reliable; particularly with the loopholes in the existing traditional protocols, cyber-attacks on the vehicle network are rising drastically. Practically every vehicle uses the universal Controller Area Network (CAN) bus protocol for the communication between electronic control units to transmit key vehicle functionality and messages related to driver safety. The CAN bus system, although its critical significance, lacks the key feature of any protocol authentication and authorization. Resulting in compromises of CAN bus security leads to serious issues to both car and driver safety. This paper discusses the security issues of the CAN bus protocol and proposes an Intrusion Detection System (IDS) that detects known attacks on in-vehicle networks. Multiple Artificial Intelligence (AI) algorithms are employed to provide recognition of known potential cyber-attacks based on messages, timestamps, and data packets traveling through the CAN. The main objective of this paper is to accurately detect cyberattacks by considering time-series features and attack frequency. The majority of the evaluated AI algorithms, when considering attack frequency, correctly identify known attacks with remarkable accuracy of more than 99%. However, these models achieve approximately 92% to 97% accuracy when timestamps are not taken into account. Long Short Term Memory (LSTM), Xgboost, and SVC have proved to the well-performing classifiers.

연구 동기 및 목표

• CAN 버스 프로토콜에 인증 기능이 없어 차량 내 네트워크에 대한 사이버 공격 위험이 증가하고 있음에 따라 이를 해결하고자 한다.
• CAN 기반 차량 내 네트워크에서 알려진 공격을 탐지할 수 있는 효과적인 침입 탐지 시스템(Intrusion Detection System, IDS)을 설계하고자 한다.
• 시간 시리즈 특징(특히 메시지 주기 및 타임스탬프)이 이상 탐지 정확도에 미치는 영향을 평가하고자 한다.
• 시간적 특징 유무에 따라 다양한 기계학습 모델이 네 가지 유형의 알려진 CAN 버스 공격을 분류하는 데 얼마나 효과적인지 비교하고자 한다.
• 시간 시리즈 데이터를 통합할 경우 탐지 성능이 크게 향상됨을 입증하며, 특히 LSTM와 같은 순차적 모델의 경우 이점이 두드러진다.

제안 방법

• IDS는 실제 CAN 트래픽과 다양한 연도의 합성 공격 데이터를 조합한 다중 클래스 분류 데이터셋을 기반으로 훈련되며, 서로 다른 데이터셋 간의 특징 정렬이 필요하다.
• 주요 특징으로는 메시지 ID, 데이터 길이, 공격 주기(초 단위), 시간대(시간대 기반 특징)를 포함하여 시간 패턴을 포착한다.
• 다양한 기계학습 모델을 평가한다: 지도 학습(로지스틱 회귀, SVC), 앙상블(랜덤 포레스트, XGBoost), 딥러닝(피드포워드 신경망, LSTM).
• 모델 성능 평가는 교차 검증을 통해 평가되며, 탐지 효과성을 측정하기 위해 정확도, F1 점수, 혼동 행렬을 사용한다.
• 시간 시리즈 특징을 체계적으로 제거하여 성능 기여도를 분리 분석한다.
• 프레임워크는 메시지 주기 및 타이밍의 이질성에 기반해 네 가지 유형의 알려진 공격(DoS, 퍼지잉, 재생, 삭제 공격)을 탐지하도록 설계되었다.

실험 결과

연구 질문

• RQ1 메시지 주기 및 타임스탬프와 같은 시간 시리즈 특징의 포함 여부가 CAN 버스 네트워크에서 이상 탐지 정확도에 미치는 영향은 무엇인가?
• RQ2 시간 시리즈 데이터를 기반으로 훈련된 경우, 어떤 기계학습 모델이 알려진 CAN 버스 공격에 대해 가장 높은 탐지 정확도를 달성하는가?
• RQ3 다양한 모델 아키텍처(지도 학습, 앙상블, 딥러닝)가 차량 내 네트워크 침입 탐지에서 시간적 특징을 얼마나 유의미하게 활용하는가?
• RQ4 다양한 연도에 수집된 이질적인 데이터셋을 기반으로 한 통합 IDS 프레임워크가 여러 공격 유형을 효과적으로 분류할 수 있는가?
• RQ5 IDS 설계에서 시간적 특징을 제외할 경우 탐지 정확도와 모델의 강건성 간의 상충 관계는 어떠한가?

주요 결과

• 특히 메시지 주기 및 시간대 기반 특징(시간대)을 포함한 시간 시리즈 특징의 통합은 탐지 정확도를 크게 향상시키며, 대부분의 모델이 99% 이상의 정확도를 기록한다.
• LSTM, XGBoost, SVM 분류기는 시간 시리즈 특징을 사용할 경우 정확도와 F1 점수가 모두 100%에 도달하여 시간적 이상 탐지에 매우 적합함을 입증한다.
• 시간 시리즈 특징이 없는 경우, 가장 높은 성능을 보인 모델들(XGBoost, SVM, 랜덤 포레스트)도 97~98%의 정확도를 기록하며, 시간적 데이터가 최적의 성능을 내기 위해 필수적임을 시사한다.
• LSTM는 시간 시리즈 특징이 제거된 경우 성능 저하가 가장 심각했으며(100%에서 78.25%로 감소), 순차적 패턴 의존성이 높음을 확인한다.
• 시간 시리즈 특징이 포함된 경우 혼동 행렬에서 모든 클래스의 진짜 양성률이 거의 완벽한 100%를 기록하여 공격 유형 분류의 높은 신뢰성을 입증한다.
• 이 연구는 시간 시리즈 특징이 뛰어난 성능 향상에 기여할 뿐 아니라, 특히 반복적 또는 주기 기반 공격에 대해 최신 기술 수준의 탐지 정확도를 달성하기 위해 필수적임을 확인한다.