[논문 리뷰] LCCDE: A Decision-Based Ensemble Framework for Intrusion Detection in The Internet of Vehicles

Li Yang, Abdallah Shami외 2명|arXiv (Cornell University)|2022. 08. 05.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 인터넷 차량(IoV) 네트워크에서 침입 탐지 정확도를 크게 향상시키기 위해 예측 신뢰도를 기반으로 각 공격 유형에 대해 최고 성능을 보이는 기울기 부스팅 모델(XGBoost, LightGBM, 또는 CatBoost)을 선택하는 의사결정 기반 앙상블 프레임워크인 LCCDE를 제안한다. 이 방법은 Car-Hacking 데이터셋에서 99.9997%의 거의 완벽한 F1-스코어와 CICIDS2017 데이터셋에서 99.811%의 F1-스코어를 기록하며 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

Modern vehicles, including autonomous vehicles and connected vehicles, have adopted an increasing variety of functionalities through connections and communications with other vehicles, smart devices, and infrastructures. However, the growing connectivity of the Internet of Vehicles (IoV) also increases the vulnerabilities to network attacks. To protect IoV systems against cyber threats, Intrusion Detection Systems (IDSs) that can identify malicious cyber-attacks have been developed using Machine Learning (ML) approaches. To accurately detect various types of attacks in IoV networks, we propose a novel ensemble IDS framework named Leader Class and Confidence Decision Ensemble (LCCDE). It is constructed by determining the best-performing ML model among three advanced ML algorithms (XGBoost, LightGBM, and CatBoost) for every class or type of attack. The class leader models with their prediction confidence values are then utilized to make accurate decisions regarding the detection of various types of cyber-attacks. Experiments on two public IoV security datasets (Car-Hacking and CICIDS2017 datasets) demonstrate the effectiveness of the proposed LCCDE for intrusion detection on both intra-vehicle and external networks.

연구 동기 및 목표

• 인터넷 차량(IoV) 네트워크에서 다양한 유형의 사이버 공격에 대해 기계 학습 모델의 성능이 일관되지 않는 문제를 해결하기 위해.
• 각 공격 유형에 대해 가장 높은 성능을 보이는 모델을 동적으로 선택하여 침입 탐지 정확도를 향상시키기 위해.
• 예측 신뢰도 스코어를 활용하여 앙상블 기반 침입 탐지에서의 의사결정을 향상시키기 위해.
• 내차량(CAN 버스) 및 외부 네트워크 위협을 모두 반영한 실제 IoV 보안 데이터셋을 기반으로 프레임워크를 평가하기 위해.
• 기존 최신 기술 기반 기계 학습 및 앙상블 IDS 접근 방식과 비교하여 뛰어난 성능을 입증하기 위해.

제안 방법

• LCCDE 프레임워크는 각 공격 유형에 대해 검증 성능 기반으로 최고 성능을 보이는 기계 학습 모델(XGBoost, LightGBM, 또는 CatBoost)을 선택한다.
• 각 공격 유형에 대해 예측 신뢰도가 가장 높은 모델을 '클래스 리더'로 지정하여 최종 결정을 내린다.
• 앙상블는 각 클래스별 리더 모델을 조합하며, 이들의 신뢰도 스코어를 사용하여 최종 침입 분류 결정을 내린다.
• 프레임워크는 내차량 네트워크(Car-Hacking)와 외부 네트워크(CICIDS2017)를 포함한 두 개의 공개 IoV 데이터셋을 기반으로 훈련 및 평가된다.
• 앙성 복잡성에도 불구하고 효율적인 추론 시간을 유지하기 위해 병렬 실행 및 GPU 지원을 활용한다.
• 다중 클래스 침입 탐지에서 정확도와 내성 강화를 위해 예측 신뢰도를 의사결정 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 각 공격 유형에 대해 최고 성능을 보이는 모델을 동적으로 선택하는 동적 앙상블 전략이 IoV에서의 전체 침입 탐지 정확도 향상에 기여하는가?
• RQ2 예측 신뢰도를 통합함으로써 앙상블 기반 IDS에서의 의사결정 과정은 어떻게 향상되는가?
• RQ3 LCCDE 프레임워크는 표준 IoV 보안 벤치마크에서 개별 모델 및 기존 앙상블 방법보다 뛰어난 성능을 보이는가?
• RQ4 제안된 LCCDE 프레임워크에서 탐지 정확도와 실행 시간 사이의 상호 교환 관계는 어떠한가?
• RQ5 내차량 및 외부 네트워크 데이터에서 다양한 공격 유형(DoS, 스푸핑, 브루트 포스 공격 등)에 대해 프레임워크의 성능은 어떠한가?

주요 결과

• LCCDE 프레임워크는 Car-Hacking 데이터셋에서 거의 완벽한 F1-스코어 99.9997%를 기록하여 비교된 모든 모델보다 뛰어난 성능을 보였다.
• CICIDS2017 데이터셋에서는 F1-스코어 99.811%를 기록하여 다음으로 우수한 방법보다 0.11% 향상된 성능을 보였다.
• 모든 개별 공격 유형에 대해 LCCDE는 가장 높은 F1-스코어를 기록하여 모든 위협 유형에서 일관된 우수성을 입증했다.
• Car-Hacking 데이터셋에서 185.1초, CICIDS2017 데이터셋에서 168.9초의 합리적인 실행 시간을 유지하였으며, KNN 및 SVM보다 뛰어난 성능을 보였고 효율성도 확보했다.
• 클래스 리더 모델과 신뢰도 스코어를 활용한 방식은 정적 앙상블 또는 단일 모델 접근 방식보다 탐지 정확도를 크게 향상시켰다.
• LCCDE는 F1-스코어와 공격 유형 전반에 걸친 내성 강도 면에서 DCNN, LSTM-AE 및 스태킹 앙성과 같은 최신 기술보다 뛰어난 성능을 보였다.