[논문 리뷰] A Comprehensive Guide to CAN IDS Data & Introduction of the ROAD Dataset

Robert A. Bridges, Verma, Verma외 6명|arXiv (Cornell University)|2020. 12. 28.

Vehicular Ad Hoc Networks (VANETs)인용 수 5

한 줄 요약

이 논문은 3.5시간 이상의 차량 데이터를 포함한 종합적인 실세계 CAN 버스 데이터셋인 ROAD 데이터셋을 소개한다. 이 데이터셋은 다양한 실제 검증된 공격(실제 퍼지 공격, 위조 공격, 고도로 정교한 스텔스 공격 포함)을 수반하며, 기존의 공개된 CAN IDS 데이터셋에 대한 체계적인 가이드를 제공한다. ROAD 데이터셋은 침입 탐지 시스템의 보다 현실적이고 비교 가능하며 재현 가능한 평가를 가능하게 하여 이전 연구에서 지적된 정밀도와 공격 다양성 부족 문제를 해결한다.

ABSTRACT

Although ubiquitous in modern vehicles, Controller Area Networks (CANs) lack basic security properties and are easily exploitable. A rapidly growing field of CAN security research has emerged that seeks to detect intrusions on CANs. Producing vehicular CAN data with a variety of intrusions is out of reach for most researchers as it requires expensive assets and expertise. To assist researchers, we present the first comprehensive guide to the existing open CAN intrusion datasets, including a quality analysis of each dataset and an enumeration of each's benefits, drawbacks, and suggested use case. Current public CAN IDS datasets are limited to real fabrication (simple message injection) attacks and simulated attacks often in synthetic data, which lack fidelity. In general, the physical effects of attacks on the vehicle are not verified in the available datasets. Only one dataset provides signal-translated data but not a corresponding raw binary version. Overall, the available data pigeon-holes CAN IDS works into testing on limited, often inappropriate data (usually with attacks that are too easily detectable to truly test the method), and this lack data has stymied comparability and reproducibility of results. As our primary contribution, we present the ROAD (Real ORNL Automotive Dynamometer) CAN Intrusion Dataset, consisting of over 3.5 hours of one vehicle's CAN data. ROAD contains ambient data recorded during a diverse set of activities, and attacks of increasing stealth with multiple variants and instances of real fuzzing, fabrication, and unique advanced attacks, as well as simulated masquerade attacks. To facilitate benchmarking CAN IDS methods that require signal-translated inputs, we also provide the signal time series format for many of the CAN captures. Our contributions aim to facilitate appropriate benchmarking and needed comparability in the CAN IDS field.

연구 동기 및 목표

• 연구의 재현성과 비교 가능성에 악영향을 미치는 표준화되지 않은 고정밀도 CAN 침입 탐지 시스템(_IDS_) 데이터셋의 부족 문제를 해결한다.
• 공개된 모든 CAN IDS 데이터셋에 대한 종합적이고 체계적인 가이드를 제공하며, 공격 유형, 데이터 품질, 활용 사례를 포함한다.
• 실제로 발생한 공격이 포함된 새로운 벤치마크로 ROAD 데이터셋을 소개한다. 이는 위조, 스텔스 공격 및 고도로 정교한 변형 공격을 포함한 여러 공격 유형에 걸쳐 실제 검증된 공격을 수반한다.
• 원시 CAN 데이터와 신호 변환된 시계열 형식을 제공하여 현대 IDS 방법의 테스트를 가능하게 한다.
• 실제 물리적 영향과 공격 복잡성을 반영한 데이터를 제공함으로써 차세대 CAN IDS의 개발 및 평가를 촉진한다.

제안 방법

• CAN 공격을 세 가지 주요 유형으로 분류한다: 위조(예: 메시지 주입), 정지(정상 프레임 제거), 가짜 신원(위조된 프레임가 정지된 프레임를 대체).
• 5개의 공개된 CAN IDS 데이터셋에 대한 세부적인 품질 분석을 수행한다. 데이터 유형(실제/모의), 공격 유형(실제/모의), 데이터 형식(원시 CAN 또는 신호 변환), 차량 수, 총 기간을 평가한다.
• 자동차 다이내모미터를 사용해 단일 차량에서 실제 CAN 버스 데이터를 수집하며, 주변 주행 행동을 기록하고 다양한 실제 및 모의 공격을 주입한다.
• 점차 증가하는 스텔스 수준의 공격을 기록하며, 퍼지 공격, 위조 공격의 여러 변종 및 고유한 고도로 정교한 공격 패tern을 모두 물리적으로 검증한다.
• 원시 이진 CAN 데이터와 신호 변환된 시계열 데이터를 모두 제공하여 다양한 IDS 평가 방법을 지원한다.
• 히우리스틱, 통계적, 기계학습 기반 IDS 모델의 벤치마킹을 지원하도록 데이터셋을 설계하였으며, 학습 및 테스트를 위한 레이블링된 공격 인스턴스를 포함한다.

실험 결과

연구 질문

• RQ1 기존 공개된 CAN IDS 데이터셋이 공격 현실성, 데이터 정밀도, 재현 가능성 측면에서 가지는 주요 한계는 무엇인가?
• RQ2 공격 유형, 데이터 형식, 차량 특성에 기반해 연구자가 자신의 특정 IDS 평가 요구사항에 가장 적합한 데이터셋을 어떻게 선별할 수 있는가?
• RQ3 현행 데이터셋이 위조 또는 저속·저강도 위조와 같은 고도로 정교한 스텔스 공격을 얼마나 잘 지원하는가?
• RQ4 실제로 발생한 CAN 데이터에 물리적으로 검증된 공격이 포함된 경우, 합성 또는 시뮬레이션된 데이터에 비해 현대 IDS 모델의 벤치마킹 및 검증에 어떤 영향을 미치는가?
• RQ5 원시 CAN과 신호 변환된 데이터 형식을 모두 포함함으로써 벤치마크 데이터셋의 유연성과 적용 가능성은 어떻게 향상되는가?

주요 결과

• ROAD 데이터셋은 단일 차량에서 수집한 3.5시간 이상의 실제 CAN 버스 데이터를 포함하며, 실제 퍼지 공격, 위조 공격, 고도로 정교한 스텔스 공격을 포함한 다양한 물리적으로 검증된 공격을 수반한다.
• 기존 공개 데이터셋 중 유일하게 신호 변환된 데이터를 제공한 것은 하나였지만, 이는 원시 이진 버전을 포함하지 않아 전체 스택 IDS 평가에 대한 유용성이 제한되었다.
• 대부분의 기존 공개 데이터셋은 단순하고 쉽게 탐지 가능한 위조 공격이나 합성 시뮬레이션에 국한되어 있어, 현실적인 저속·저강도 공격 패턴을 반영하지 못하고 있다.
• ROAD 데이터셋은 간단한 시간 기반 히어리스틱으로도 탐지하기 어려운 공격을 포함함으로써 IDS 방법의 보다 현실적인 벤치마킹을 가능하게 하여 실제 위협 상황을 더 잘 반영한다.
• 이미 여러 연구 팀에서 새로운 IDS 아키텍처 평가를 위해 ROAD 데이터셋을 활용하고 있으며, 이는 메트릭 학습, 딥 클러스터링, 맥락 인식 탐지 기반 모델을 포함한다.
• ROAD 데이터셋은 CAN IDS 연구 분야에서 가장 종합적이고 현실적인 개방형 기준으로 인정받으며 점점 더 널리 인용되고 있으며, 분야 내 사실상의 표준으로 자리매김하고 있다.