[논문 리뷰] Empirical Study of Drone Sound Detection in Real-Life Environment with Deep Neural Networks

Sungho Jeon, Jong-Woo Shin외 4명|arXiv (Cornell University)|2017. 01. 20.

Anomaly Detection Techniques and Applications인용 수 7

한 줄 요약

이 연구는 증강된 오디오 데이터로 훈련된 딥 네ural 네트워크(DNN)를 사용하여 소음이 많은 도시 환경에서 상업용 허벌 드론을 실시간으로 감지하는 시스템을 제안한다. 멜-스펙트로그램과 순환 신경망(RNN)을 활용한 이 방법은 240ms 입력 시 F-Score 0.8009를 기록하며, GMM 및 CNN 모델을 능가하여 실시간 위협 감지 시스템으로서 강력한 실용성을 입증한다.

ABSTRACT

This work aims to investigate the use of deep neural network to detect commercial hobby drones in real-life environments by analyzing their sound data. The purpose of work is to contribute to a system for detecting drones used for malicious purposes, such as for terrorism. Specifically, we present a method capable of detecting the presence of commercial hobby drones as a binary classification problem based on sound event detection. We recorded the sound produced by a few popular commercial hobby drones, and then augmented this data with diverse environmental sound data to remedy the scarcity of drone sound data in diverse environments. We investigated the effectiveness of state-of-the-art event sound classification methods, i.e., a Gaussian Mixture Model (GMM), Convolutional Neural Network (CNN), and Recurrent Neural Network (RNN), for drone sound detection. Our empirical results, which were obtained with a testing dataset collected on an urban street, confirmed the effectiveness of these models for operating in a real environment. In summary, our RNN models showed the best detection performance with an F-Score of 0.8009 with 240 ms of input audio with a short processing time, indicating their applicability to real-time detection systems.

연구 동기 및 목표

• 실제 소음이 많은 도시 환경에서 오디오 신호를 활용한 실시간 드론 감지 시스템을 개발한다.
• 기존의 음향 분류 모델인 GMM, CNN, RNN이 실제 환경 조건에서 드론 음향 감지에 얼마나 효과적인지 평가한다.
• 다양한 환경 음향을 활용한 오디오 증강을 통해 드론 음향 데이터 부족 문제를 해결한다.
• 실시간 구현을 위한 F-Score 및 처리 시간 측면에서 모델 성능을 평가한다.
• 드론과 마이크 간 거리 증가가 감지 성능에 미치는 영향을 조사하고, 향후 향상 방안으로 비음향형 기술(beamforming)을 탐색한다.

제안 방법

• 조용한 실외 조건에서 원시 드론 음향을 촬영하고, 공개 데이터셋에서 확보한 실제 환경 음향을 활용해 실제 음향 환경을 시뮬레이션하는 방식으로 데이터 증강을 수행한다.
• 드론 음향의 피크 진폭이 배경 소음보다 5% 높아지도록 증폭하여 드론 특성을 유지한다.
• 특히 1500 Hz 이하의 고조파 및 5000–7000 Hz 사이의 에너지 피크를 포착하기 위해 오디오 클립에서 멜-스펙트로그램 특징을 추출한다.
• 이진 분류를 위해 드론 존재 여부를 판단하는 세 가지 모델—가우시안 믹스처 모델(GMM), 컨볼루션 신경망(CNN), 순환 신경망(RNN)—을 훈련시킨다.
• 감지 정확도와 실시간 처리 제약 조건을 고려해 추론에 240ms 오디오 창을 사용한다.
• 실도시 거리 테스트 데이터셋을 활용해 모델을 평가하고, 각 처리 단계의 실행 시간을 측정하여 실시간 구현 가능성 여부를 분석한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 높은 배경 소음이 있는 실제 도시 환경에서 드론 음향을 효과적으로 감지할 수 있는가?
• RQ2 다양한 환경 음향을 활용한 데이터 증강이 모델의 일반화 능력과 실제 데이터 성능에 어떤 영향을 미치는가?
• RQ3 GMM, CNN, RNN 중 어느 모델이 실시간 구현을 위한 감지 정확도와 처리 시간의 최적 균형을 달성하는가?
• RQ4 드론과 마이크 간 거리 증가가 감지 성능에 어떤 영향을 미치는가?
• RQ5 모델 성능은 얼마나 높은 수준으로 훈련되지 않은 환경 조건에서 떨어지며, 더 나은 훈련 데이터로 이를 완화할 수 있는가?

주요 결과

• RNN 모델은 240ms의 입력 오디오로 실도시 테스트 데이터셋에서 F-Score 0.8009를 기록하며 GMM 및 CNN을 능가했다.
• 예측되지 않은 환경 데이터에서 RNN은 F-Score 0.6984를 유지해 분포 이탈에 대한 강건성을 보였다.
• GMM 모델은 음성 샘플의 과도한 예측으로 인해 예측되지 않은 데이터에서 F-Score가 단지 0.3910에 그쳐 일반화 능력이 떨어졌다.
• 데이터 증강은 모델 성능 향상에 크게 기여했으며, 특히 RNN는 다양한 배경 소음을 훈련 과정에서 경험함으로써 유의미한 성능 향상을 보였다.
• 특징 추출 단계의 처리 시간(분당 오디오 145ms)이 가장 오래 걸렸지만, 모든 모델가 실시간 사용에 적합하다고 판단되었다.
• RNN 모델는 GMM(40ms)보다 더 긴 입력 창(240ms)을 요구하여 초도 감지 지연가 발생할 수 있으나, 이는 정확도 향상으로 보상된다.