[논문 리뷰] Detection and Classification of UAVs Using RF Fingerprints in the Presence of Interference

Martins Ezuma, Fatih Erden외 3명|arXiv (Cornell University)|2019. 09. 12.

Wireless Signal Modulation Classification참고 문헌 20인용 수 8

한 줄 요약

이 논문은 마르코프 모델과 기계학습을 활용하여 Wi-Fi 및 블루투스 간섭 상황에서도 UAV 컨트롤러를 탐지하고 분류하는 다단계 RF 지문 시스템을 제안한다. 에너지 변동에서 추출한 3개의 NCA 선택 특징을 사용하여 k-최근접 이웃 알고리즘을 적용했을 때 25 dB SNR에서 98.13%의 분류 정확도를 달성한다.

ABSTRACT

This paper investigates the problem of detection and classification of unmanned aerial vehicles (UAVs) in the presence of wireless interference signals using a passive radio frequency (RF) surveillance system. The system uses a multistage detector to distinguish signals transmitted by a UAV controller from the background noise and interference signals. First, RF signals from any source are detected using a Markov models-based naïve Bayes decision mechanism. When the receiver operates at a signal-to-noise ratio (SNR) of 10 dB, and the threshold, which defines the states of the models, is set at a level 3.5 times the standard deviation of the preprocessed noise data, a detection accuracy of 99.8% with a false alarm rate of 2.8% is achieved. Second, signals from Wi-Fi and Bluetooth emitters, if present, are detected based on the bandwidth and modulation features of the detected RF signal. Once the input signal is identified as a UAV controller signal, it is classified using machine learning (ML) techniques. Fifteen statistical features extracted from the energy transients of the UAV controller signals are fed to neighborhood component analysis (NCA), and the three most significant features are selected. The performance of the NCA and five different ML classifiers are studied for 15 different types of UAV controllers. A classification accuracy of 98.13% is achieved by k-nearest neighbor classifier at 25 dB SNR. Classification performance is also investigated at different SNR levels and for a set of 17 UAV controllers which includes two pairs from the same UAV controller models.

연구 동기 및 목표

• Wi-Fi 및 블루투스 장치의 공유 대역 간섭이 존재하는 실제 환경에서 UAV 컨트롤러를 탐지하고 분류하는 데 도전하는 것.
• 낮은 신호 대 잡음비(SNR)와 높은 간섭 조건에서도 안정적으로 작동하는 강건한 수동 RF 감시 시스템을 개발하는 것.
• 도파너트 행동에 의존하지 않고 내재된 RF 지문을 활용하여 UAV 컨트롤러를 정확히 식별할 수 있도록 하는 것.
• 동일한 제조사에서 생산된 동일 모델을 포함한 다양한 SNR 및 컨트롤러 다양성 조건에서 여러 기계학습 분류기의 성능을 조사하는 것.
• 다양한 간섭 시나리오에서 탐지 정확도와 오류 경고 비율을 평가하여 시스템의 안전성과 신뢰성을 확보하는 것.

제안 방법

• 노이지 환경에서 어떤 RF 신호가 존재하는지 탐지하기 위해 이중 상태 마르코프 모델 기반 나이브 베이즈 결정 기반 기법을 사용한다.
• 대역폭 및 변조 특징 분석을 적용하여 탐지된 신호를 Wi-Fi, 블루투스 또는 UAV 컨트롤러 신호로 분류한다.
• UAV 컨트롤러 신호의 에너지 변동에서 15개의 통계적 특징을 추출하여 RF 지문 특성을 캡처한다.
• 특징 차원을 감소시키고 가장 구분력 있는 3개의 특징을 선택하기 위해 이웃성 구성 분석(NCA)을 활용한다.
• 감소된 특징 집합에 대해 다섯 가지 기계학습 분류기—k-최근접 이웃(kNN), 랜덤 포레스트(RandF), 의사결정 분석(DA), 서포트 벡터 머신(SVM), 신경망(NN)—를 훈련하고 평가한다.
• 몬테카를로 시뮬레이션과 혼동 행렬 분석을 수행하여 15개 및 17개의 UAV 컨트롤러 모델에 대한 분류기의 강건성과 오류 패턴을 평가한다.

실험 결과

연구 질문

• RQ1 공유 대역 Wi-Fi 및 블루투스 간섭이 존재하는 상황에서 UAV 컨트롤러는 얼마나 정확하게 탐지되고 분류될 수 있는가?
• RQ2 신호 대 잡음비(SNR)는 제안된 시스템의 탐지 및 분류 성능에 어떤 영향을 미치는가?
• RQ3 동일한 모델(예: 두 쌍의 동일한 DJI 컨트롤러)이 포함될 경우 분류 정확도와 오류 패턴은 어떻게 영향을 받는가?
• RQ4 다양한 SNR 및 컨트롤러 다양성 조건에서 가장 높은 정확도와 강건성을 보이는 기계학습 분류기는 무엇인가?
• RQ5 NCA와 같은 특징 감소 기법은 낮은 계산 비용을 유지하면서 분류 성능을 얼마나 향상시키는가?

주요 결과

• 10 dB SNR에서 마르코프 모델 기반 나이브 베이즈 탐지기는 99.8%의 정확도와 2.8%의 오류 경고 비율을 기록한다.
• 25 dB SNR에서 3개의 NCA 선택 특징을 사용하여 k-최근접 이웃(kNN) 분류기는 15종의 다른 UAV 컨트롤러를 식별할 때 98.13%의 분류 정확도를 달성한다.
• 두 쌍의 동일한 모델을 포함한 17대의 컨트롤러에 대해서도 kNN은 평균 95.53%의 정확도를 유지하여 모델 중복에 대한 강건성을 입증한다.
• 랜덤 포레스트(RandF) 분류기는 17대의 컨트롤러에 대해 평균 95.18%의 정확도를 기록하여 이 경우에서 kNN과 DA보다 뛰어난 성능을 보인다.
• 의사결정 분석(DA) 분류기는 유사 모델 간 오분류 수가 가장 많아 17대의 컨트롤러에 대해 평균 88.12%의 정확도를 기록하며, 이는 낮은 강건성을 시사한다.
• 분류기 성능은 SNR가 증가함에 따라 향상되며, kNN과 RandF는 SNR >15 dB 조건에서 최적의 성능을 보이고, DA는 저SNR(0–4 dB) 조건에서 가장 우수한 성능을 보인다.