[论文解读] Empirical Study of Drone Sound Detection in Real-Life Environment with Deep Neural Networks

Sungho Jeon, Jong-Woo Shin+4 more|arXiv (Cornell University)|Jan 20, 2017

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本研究提出了一种基于深度神经网络（DNN）的实时无人机声音检测系统，通过在增强音频数据上进行训练，以在嘈杂的城市环境中检测商用休闲无人机。利用梅尔频谱图（Mel-spectrograms）和循环神经网络（RNNs），该方法在240毫秒输入下实现了0.8009的F-Score，优于高斯混合模型（GMM）和卷积神经网络（CNN）模型，证明了其在实时威胁检测系统中的强大实际可行性。

ABSTRACT

This work aims to investigate the use of deep neural network to detect commercial hobby drones in real-life environments by analyzing their sound data. The purpose of work is to contribute to a system for detecting drones used for malicious purposes, such as for terrorism. Specifically, we present a method capable of detecting the presence of commercial hobby drones as a binary classification problem based on sound event detection. We recorded the sound produced by a few popular commercial hobby drones, and then augmented this data with diverse environmental sound data to remedy the scarcity of drone sound data in diverse environments. We investigated the effectiveness of state-of-the-art event sound classification methods, i.e., a Gaussian Mixture Model (GMM), Convolutional Neural Network (CNN), and Recurrent Neural Network (RNN), for drone sound detection. Our empirical results, which were obtained with a testing dataset collected on an urban street, confirmed the effectiveness of these models for operating in a real environment. In summary, our RNN models showed the best detection performance with an F-Score of 0.8009 with 240 ms of input audio with a short processing time, indicating their applicability to real-time detection systems.

研究动机与目标

• 开发一种基于音频信号的实时无人机检测系统，适用于真实且嘈杂的城市环境。
• 评估传统声音分类模型（GMM、CNN和RNN）在真实世界条件下进行无人机声音检测的有效性。
• 通过结合多样化的环境声音进行音频增强，解决无人机声音数据稀缺的问题。
• 从F-Score和处理时间两个方面评估模型性能，以评估其在实时部署中的可行性。
• 研究无人机与麦克风之间距离增加对检测性能的影响，并探讨波束成形作为未来改进方向的可能性。

提出的方法

• 在安静的户外条件下采集原始无人机声音，并通过公开数据集中的真实环境声音对数据进行增强，以模拟真实声学环境。
• 通过将无人机声音的峰值幅度提升5%，使其超过背景噪声，同时保留无人机声音的特征。
• 从音频片段中提取梅尔频谱图特征，以捕捉频谱模式，特别是低于1500 Hz的谐波成分以及5000–7000 Hz之间的能量峰值。
• 训练三种模型——高斯混合模型（GMM）、卷积神经网络（CNN）和循环神经网络（RNN）——用于无人机存在与否的二分类任务。
• 在推理时采用240毫秒的音频窗口，以在检测准确率和实时处理限制之间取得平衡。
• 在真实城市街道测试数据集上评估模型性能，并测量各处理阶段的执行时间，以评估实时可行性。

实验结果

研究问题

• RQ1 深度神经网络能否在高背景噪声的真实城市环境中有效检测无人机声音？
• RQ2 通过多样化环境声音进行数据增强，如何提升模型在真实世界数据上的泛化能力和性能？
• RQ3 在实时部署中，GMM、CNN和RNN中哪一模型在检测准确率与处理时间之间实现了最佳平衡？
• RQ4 无人机与麦克风之间距离的增加如何影响检测性能？
• RQ5 模型在未见过的环境条件下性能下降的程度如何？是否可通过更优质的训练数据减轻这种性能下降？

主要发现

• RNN模型在使用240毫秒输入音频的实测城市数据集上取得了最高的F-Score（0.8009），优于GMM和CNN模型。
• 在未见过的环境数据上，RNN模型仍保持最佳性能，F-Score为0.6984，表明其对分布偏移具有较强的鲁棒性。
• GMM模型泛化能力差，未见数据上的F-Score仅为0.3910，主要由于对负样本的过度预测。
• 数据增强显著提升了模型性能，尤其对RNN模型而言，其在训练过程中受益于多样化的背景噪声。
• 特征提取阶段的处理时间（每分钟音频145毫秒）最为耗时，但所有模型均被认为适用于实时应用。
• 与GMM（40毫秒）相比，RNN模型需要更长的输入窗口（240毫秒），这可能导致初始检测延迟，但可提升检测准确性。