[논문 리뷰] ROAD: The Real ORNL Automotive Dynamometer Controller Area Network Intrusion Detection Dataset (with a comprehensive CAN IDS dataset survey & guide).

Miki E. Verma, Michael D. Iannacone외 4명|arXiv (Cornell University)|2020. 12. 29.

Vehicular Ad Hoc Networks (VANETs)참고 문헌 30인용 수 19

한 줄 요약

이 논문은 실물 차량 다이내노미터에서 실시된 실제 고도화된 공격을 포함한, 첫 번째 종합적인 CAN 침입 탐지 데이터셋인 ROAD 데이터셋을 소개한다. 또한 기존 공개된 CAN IDS 데이터셋에 대한 체계적인 조사도 수행한다. 연구자들에게 고정밀도의 레이블이 부여된 공격 데이터와 CAN 침입 탐지 시스템을 평가하고 비교하기 위한 적절한 데이터셋을 선택하는 데 도움이 되는 상세한 가이드를 제공한다.

ABSTRACT

The Controller Area Network (CAN) protocol is ubiquitous in modern vehicles, but the protocol lacks many important security properties, such as message authentication. To address these insecurities, a rapidly growing field of research has emerged that seeks to detect tampering, anomalies, or attacks on these networks; this field has developed a wide variety of novel approaches and algorithms to address these problems. One major impediment to the progression of this CAN anomaly detection and intrusion detection system (IDS) research area is the lack of high-fidelity datasets with realistic labeled attacks, without which it is difficult to evaluate, compare, and validate these proposed approaches. In this work we present the first comprehensive survey of publicly available CAN intrusion datasets. Based on a thorough analysis of the data and documentation, for each dataset we provide a detailed description and enumerate the drawbacks, benefits, and suggested use cases. Our analysis is aimed at guiding researchers in finding appropriate datasets for testing a CAN IDS. We present the Real ORNL Automotive Dynamometer (ROAD) CAN Intrusion Dataset, providing the first dataset with real, advanced attacks to the existing collection of open datasets.

연구 동기 및 목표

• 자동차 네트워크에서 침입 탐지 시스템(IDS)을 평가하고 비교하기 위해 고정밀도의 현실적이고 레이블이 부여된 CAN 침입 데이터셋의 부족을 보완한다.
• 기존에 공개된 공개된 CAN IDS 데이터셋의 품질, 한계, 연구에의 적합성을 평가하기 위해 체계적인 조사를 수행한다.
• 연구자의 특정 IDS 평가 필요에 따라 적절한 데이터셋을 선택하는 데 도움이 되는 상세하고 근거 기반의 가이드를 제공한다.
• 실제 차량 네트워크에서 제어된 조건 하에 실재 공격이 발생한 상황을 담은 실물의 실차 다이내노미터를 활용한 실질적 공격 데이터를 포함한 '실제 ORNL 자동차 다이내노미터(Road)' 데이터셋을 제시한다.
• 실제 공격 시나리오와 철저한 문서화를 제공함으로써 CAN IDS 알고리즘의 재현 가능하고 타당한 평가를 가능하게 한다.

제안 방법

• 체계적인 리뷰 과정을 통해 모든 공개된 공개된 CAN 침입 탐지 데이터셋을 체계적으로 수집하고 분석한다.
• 데이터 정밀도, 공격의 현실성, 레이블 정확도, 문서화 품질, 재현 가능성 등의 핵심 기준에 따라 각 데이터셋을 평가한다.
• 공격 유형, 데이터 수집 환경, 목적 용도에 따라 데이터셋을 분류하여 연구자가 정보에 기반해 선택할 수 있도록 지원한다.
• ORNL에서 실시한 전체 스케일의 자동차 다이내노미터를 활용해 실제 공격 실험을 설계하고 수행하여 ROAD 데이터셋을 생성한다.
• 정상 작동 중과 다양한 고도화된 현실적인 사이버 공격(재생, 위조, 서비스 거부 공격 등) 동안의 CAN 트래픽을 기록하고 레이블링한다.
• 모든 실험 조건, 공격 벡터, 레이블링 절차를 문서화하여 향후 연구의 투명성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 기존에 공개된 공개된 CAN 침입 탐지 데이터셋의 주요 한계점과 강점은 무엇인가?
• RQ2 다양한 CAN IDS 데이터셋 간의 데이터 정밀도, 공격의 현실성, 문서화 품질 측면에서의 비교는 어떻게 이루어지는가?
• RQ3 현재 공개된 데이터셋에서 누락되거나 부족하게 표현된 공격 시나리오는 어떤 것인가?
• RQ4 실제 환경에서의 고정밀도 데이터셋이 고도화된 공격을 포함한다면, CAN IDS 알고리즘의 평가 및 검증에 어떻게 기여할 수 있는가?
• RQ5 연구자가 자신의 특정 IDS 연구 목표에 가장 적합한 데이터셋을 어떻게 선택할 수 있는가?

주요 결과

• ROAD 데이터셋은 실물의 자동차 다이내노미터를 활용해 실재 공격이 발생한 기능성 차량 네트워크에서 발생한 실제 고도화된 공격을 캡처한 첫 번째 공개된 CAN IDS 데이터셋이다.
• 조사 결과, 기존 데이터셋에는 공격의 현실성 부족, 레이블 정확도 낮음, 문서화 부족 등의 심각한 한계가 존재하여 IDS 접근법의 신뢰성 있는 평가를 저해하고 있음을 확인했다.
• 많은 기존 데이터셋은 다양한 공격 유형이 부족하거나 현실적인 차량 운행 조건을 시뮬레이션하지 못해 강력한 IDS 테스트에 활용도가 제한된다.
• ROAD 데이터셋은 제어된 조건이지만 현실적인 환경에서 실시된 다양한 고도화된 공격(재생, 위조, 서비스 거부 공격 등)을 포함하고 있다.
• 데이터셋은 완전히 레이블링되어 있으며 철저한 문서화가 수반되어 있어 재현 가능한 실험과 IDS 알고리즘 간의 공정한 비교를 가능하게 한다.
• 종합적인 조사는 연구자가 IDS 평가에서 흔히 겪는 오류를 피할 수 있도록 도와주는 명확한 데이터셋 선택 프레임워크를 제공한다.