[논문 리뷰] Comparative Analysis of Radar Cross Section Based UAV Classification Techniques

Martins Ezuma, Chethan Kumar Anjinappa외 2명|arXiv (Cornell University)|2021. 12. 17.

Advanced SAR Imaging Techniques인용 수 8

한 줄 요약

이 연구는 15 GHz 및 25 GHz에서 작동하는 여섯 대의 상용 드론을 식별하기 위해 통계적 학습(SL), 기계적 학습(ML), 딥 러닝(DL) 기반의 15종의 레이더 반사단면적(RCS)-기반 분류 알고리즘을 평가한다. 분류 트리 ML 모델이 3 dB SNR에서 가장 높은 정확도(98.66%)와 가장 짧은 평균 분류 시간(0.46 ms)을 기록하여 SL 및 DL 방법을 모두 압도했으며, 특히 저SNR 조건에서 뛰어난 성능을 보였다.

ABSTRACT

This work investigates the problem of unmanned aerial vehicles (UAVs) identification using their radar crosssection (RCS) signature. The RCS of six commercial UAVs are measured at 15 GHz and 25 GHz in an anechoic chamber, for both vertical-vertical and horizontal-horizontal polarization. The RCS signatures are used to train 15 different classification algorithms, each belonging to one of three different categories: statistical learning (SL), machine learning (ML), and deep learning (DL). The study shows that while the classification accuracy of all the algorithms increases with the signal-to-noise ratio (SNR), the ML algorithm achieved better accuracy than the SL and DL algorithms. For example, the classification tree ML achieves an accuracy of 98.66% at 3 dB SNR using the 15 GHz VV-polarized RCS test data from the UAVs. We investigate the classification accuracy using Monte Carlo analysis with the aid of boxplots, confusion matrices, and classification plots. On average, the accuracy of the classification tree ML model performed better than the other algorithms, followed by the Peter Swerling statistical models and the discriminant analysis ML model. In general, the classification accuracy of the ML and SL algorithms outperformed the DL algorithms (Squeezenet, Googlenet, Nasnet, and Resnet 101) considered in the study. Furthermore, the computational time of each algorithm is analyzed. The study concludes that while the SL algorithms achieved good classification accuracy, the computational time was relatively long when compared to the ML and DL algorithms. Also, the study shows that the classification tree achieved the fastest average classification time of about 0.46 ms.

연구 동기 및 목표

• 감시 지역에서의 비승인 드론 사용 증가로 인한 신뢰할 수 있는 대드론 시스템(C-UAS)의 필요성에 대응하기 위해.
• 실제 레이더 신호 대 잡음비(SNR) 조건에서 상용 드론을 식별하기 위한 RCS 기반 분류 기법의 성능을 평가하기 위해.
• 측정된 RCS 데이터를 사용하여 통계적 학습, 기계적 학습, 딥 러닝 모델의 분류 정확도 및 계산 효율성을 비교하기 위해.
• 전체 360° 커버리지 대비 제한된 120° 구간의 애자이멀 RCS 데이터가 분류 성능에 미치는 영향을 조사하기 위해.
• 향후 C-UAS 및 자동 목표 인식 시스템 설계를 지원하기 위한 RCS 기반 드론 분류의 경험적 기준을 제공하기 위해.

제안 방법

• 비에코닉 챔버에서 15 GHz 및 25 GHz에서 VV 및 HH 편광을 모두 사용하여 여섯 대의 상용 드론에 대한 RCS 측정을 수행하였다.
• 15개의 분류 알고리즘을 훈련 및 테스트하였다: 통계적 학습(SL) 5종(예: 가우시안 믹스처 모델, 피터 스웨링 모델), 기계적 학습(ML) 5종(예: 분류 트리, SVM, kNN, 판별 분석), 딥 러닝(DL) 5종(예: SqueezeNet, GoogLeNet, NASNet, ResNet101).
• 10회의 런을 반복한 몬테카를로 시뮬레이션을 통해 다양한 SNR 수준에서 성능을 평가하였으며, 박스플롯, 혼동 행렬, 분류도를 생성하였다.
• 신호 대 잡음비(SNR)를 체계적으로 변화시켜 실제 레이더 환경에서 흔히 발생하는 저SNR 조건에서의 강건성 평가를 수행하였다.
• 모델의 효율성을 평가하기 위해 10,000개의 테스트 샘플 기반 평균 추론 시간을 측정하였다.
• 제한된 데이터 시나리오를 시뮬레이션하기 위해 RCS 입력을 0° 중심의 120° 구간으로 제한하고, 전체 360° 데이터와의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 통계적 학습, 기계적 학습, 딥 러닝 기반의 다양한 분류 철학이 15 GHz 및 25 GHz에서 RCS 특징을 사용하여 드론을 분류하는 데 어떻게 성능을 내는가?
• RQ2 신호 대 잡음비(SNR)가 RCS 기반 드론 식별 모델의 분류 정확도에 미치는 영향은 어떠한가?
• RQ3 제한된 애자이멀 구간(120°)에서의 RCS 데이터 가용성이 전체 360° 커버리지 대비 분류 성능에 어떤 영향을 미치는가?
• RQ4 어느 분류 알고리즘이 RCS 기반 드론 식별에서 정확도와 계산 효율성 사이의 최적의 트레이드오프를 달성하는가?
• RQ5 모델의 복잡도와 매개변수 추정 절차가 통계적 학습, 기계적 학습, 딥 러닝 분류기의 계산 시간에 미치는 영향은 어떠한가?

주요 결과

• 분류 트리 ML 모델이 15 GHz VV 편광 RCS 데이터를 사용하여 3 dB SNR에서 가장 높은 분류 정확도 98.66%를 기록하였다.
• 분류 트리 모델은 평균 분류 시간 0.46 ms로 모든 다른 모델보다 계산 효율성이 뛰어나 가장 빠른 성능을 보였다.
• 통계적 학습 모델(예: 피터 스웨링 3 및 4)과 판별 분석 ML 모델이 각각 정확도 순서로 두 번째 및 세 번째로 높은 성능을 보였으며, 특히 저SNR 조건에서 뛰어난 성능을 보였다.
• 딥 러닝 모델(SqueezeNet, GoogLeNet, NASNet, ResNet101)은 고SNR 조건에서도 ML 및 SL 모델에 비해 일관되게 열등한 성능을 보였다.
• RCS 데이터가 120° 구간으로 제한된 경우, 모든 모델의 분류 정확도가 감소하였으며, 분류 트리 모델은 5 dB SNR에서 정확도가 100%에서 87.33%로 하락하였다.
• 통계적 학습 모델은 평균 분류 시간이 500 ms 이상으로 가장 느렸으며, 주로 MLE 또는 EM 방법을 통한 계산 비용이 높은 매개변수 추정 절차 때문이었다.