[논문 리뷰] Explaining RADAR features for detecting spoofing attacks in Connected Autonomous Vehicles

Nidhi Rastogi, Sara Rampazzi외 4명|arXiv (Cornell University)|2022. 03. 01.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 연결형 자율주행차(CAVs)에서 스푸핑 공격을 탐지하기 위해 레이더 센서 데이터의 불확실성을 설명하기 위한 델름스터-샤퍼 이론 기반 프레임워크를 제안한다. 레이더 특징에서 신뢰도, 가능성 및 불확실성을 정량화함으로써 기계학습 모델의 강건성을 향상시켜, 장애물 상태를 분류하는 데 96%의 정확도를 달성하고, 모든 11개의 스푸핑 패킷을 정적 상태로 높은 신뢰도로 탐지하였다.

ABSTRACT

Connected autonomous vehicles (CAVs) are anticipated to have built-in AI systems for defending against cyberattacks. Machine learning (ML) models form the basis of many such AI systems. These models are notorious for acting like black boxes, transforming inputs into solutions with great accuracy, but no explanations support their decisions. Explanations are needed to communicate model performance, make decisions transparent, and establish trust in the models with stakeholders. Explanations can also indicate when humans must take control, for instance, when the ML model makes low confidence decisions or offers multiple or ambiguous alternatives. Explanations also provide evidence for post-incident forensic analysis. Research on explainable ML to security problems is limited, and more so concerning CAVs. This paper surfaces a critical yet under-researched sensor data extit{uncertainty} problem for training ML attack detection models, especially in highly mobile and risk-averse platforms such as autonomous vehicles. We present a model that explains extit{certainty} and extit{uncertainty} in sensor input -- a missing characteristic in data collection. We hypothesize that model explanation is inaccurate for a given system without explainable input data quality. We estimate extit{uncertainty} and mass functions for features in radar sensor data and incorporate them into the training model through experimental evaluation. The mass function allows the classifier to categorize all spoofed inputs accurately with an incorrect class label.

연구 동기 및 목표

• CAV의 기계학습 기반 공격 탐지에서 입력 데이터 품질의 설명 가능성 부족, 특히 센서 데이터 불확실성에 대응하기 위해.
• 불확실성 정량화를 학습 데이터에 통합함으로써 모델 신뢰성 향상 및 정밀 분석 지원을 통해 의사결정 투명성 향상.
• 증거 기반 추론을 통해 보안 전문가가 진정한 센서 행동과 악성 스푸핑 간의 차이를 식별할 수 있도록 지원.
• 불확실성 인식 입력 데이터가 레이더 센서 입력에서의 스푸핑 공격 탐지에 있어 기계학습 모델의 신뢰성 향상에 기여함을 입증.
• 안전하고 더 투명한 자율주행차 의사결정을 지원하기 위해 불확실한 센서 데이터를 기계학습 모델에 통합하는 프레임워크 제공.

제안 방법

• 레이더 특징(예: 속도, 반사율, 거리) 각각에 대해 {정적, 이동 중, 둘 다}의 분별 영역에서 신뢰도, 가능성 및 불확실성을 모델링하기 위해 델름스터-샤퍼 이론(DST)을 사용.
• DST 수식을 적용하여 각 특징에 대한 신뢰도, 가능성 및 불확실성 값을 계산함으로써 무지 및 부분적 증거를 표현 가능하게 함.
• 각 가설(s, m, sm)에 질량 함수를 할당하여 각 클래스에 대한 지지도를 표현하며, 높은 질량 값은 더 강한 증거를 의미함.
• 모의 및 실세계 데이터를 조합한 하이브리드 레이더 데이터셋을 실증적으로 평가하며, CSV 형식의 특징과 사전 할당된 클래스 레이블을 사용.
• 스푸핑된 레이더 패킷 11개를 삽입(정적 물체를 이동 중으로 표기)하여 악성 조건 하에서의 탐지 능력을 시험.
• 클래스 예측을 결정하기 위해 최고의 신뢰도 값을 사용하고, 질량 함수의 변화(예: 이동 중 클래스에 대한 m 증가)를 활용하여, 클래스 레이블이 잘못되었더라도 스푸핑을 탐지함.

실험 결과

연구 질문

• RQ1 레이더 센서 데이터의 불확실성 정량화가 CAV의 기계학습 기반 공격 탐지에서 설명 가능성과 신뢰성 향상에 기여하는가?
• RQ2 Dempster-Shafer 이론 기반 증거 함수를 통합함으로써 레이더 입력에서의 스푸핑 공격 탐지 능력이 어떻게 향상되는가?
• RQ3 기계학습 모델의 레이블 할당이 악성 조작으로 잘못되었을 경우, 질량 함수가 얼마나 잘 스푸핑된 데이터를 탐지할 수 있는가?
• RQ4 입력 특징에 불확실성 통합이 장애물 상태(정적 대비 이동 중)의 더 정확하고 신뢰할 수 있는 분류에 기여하는가?
• RQ5 제안된 방법이 데이터 이상 및 센서 읽기의 불확실성에 대한 설명 가능한 증거를 제공함으로써 정밀 분석을 지원할 수 있는가?

주요 결과

• 속도 및 반사율을 조합한 특징을 사용할 경우, 장애물 상태(정적 또는 이동 중) 분류에 대해 96%의 정확도를 달성함.
• 거리 특징만을 사용할 경우, 장애물 소속에 대한 정확도가 90% 이하로 떨어져, 특징에 따라 불확실성에 민감도가 있음을 나타냄.
• 삽입된 11개의 스푸핑 패킷 모두가 정적 상태로 정확히 분류되었으며, '이동 중' 클래스에 대한 질량 함수 값이 예상보다 크게 낮게 나타남.
• 스푸핑 패킷 #2의 경우, '이동 중'에 대한 질량은 0.3023이었고, '정적'에 대한 신뢰도는 0.6976이었으며, 이는 모순과 잠재적 스푸핑을 올바르게 나타냄.
• 스푸핑 패킷 #1의 경우, 's,m'(정적 및 이동 중 둘 다) 조합 클래스에 대한 질량 함수 값이 0.36에 도달하여 높은 불확실성과 잠재적 데이터 조작을 시사함.
• 스푸핑을 성공적으로 탐지하기 위해 비정상적인 질량 함수 변화를 식별함—특히 물체가 정적임에도 불구하고 '이동 중' 질량이 높은 경우—이를 통해 악성 간섭의 정밀 분석 증거를 제공함.