[论文解读] Automatic Detection Of Noise Events at Shooting Range Using Machine Learning

Jon Nordby, Fabian Nemazi+1 more|arXiv (Cornell University)|Jul 23, 2021

Music and Audio Processing参考文献 19被引用 4

一句话总结

本文提出了一种机器学习系统，利用声学传感器和时序音频特征，自动检测并统计室外射击场的枪击声和爆炸事件。卷积神经网络（CNN）表现最佳，F1得分为80.5%，插入错误率为4.5%，可实现对训练活动的可靠记录，以满足监管合规要求。

ABSTRACT

Outdoor shooting ranges are subject to noise regulations from local and national authorities. Restrictions found in these regulations may include limits on times of activities, the overall number of noise events, as well as limits on number of events depending on the class of noise or activity. A noise monitoring system may be used to track overall sound levels, but rarely provide the ability to detect activity or count the number of events, required to compare directly with such regulations. This work investigates the feasibility and performance of an automatic detection system to count noise events. An empirical evaluation was done by collecting data at a newly constructed shooting range and training facility. The data includes tests of multiple weapon configurations from small firearms to high caliber rifles and explosives, at multiple source positions, and collected on multiple different days. Several alternative machine learning models are tested, using as inputs time-series of standard acoustic indicators such as A-weighted sound levels and 1/3 octave spectrogram, and classifiers such as Logistic Regression and Convolutional Neural Networks. Performance for the various alternatives are reported in terms of the False Positive Rate and False Negative Rate. The detection performance was found to be satisfactory for use in automatic logging of time-periods with training activity.

研究动机与目标

• 开发一种自动化系统，用于检测并统计射击场的噪声事件，以满足监管合规要求。
• 解决现有噪声监测系统仅记录连续声级、缺乏事件级检测的问题。
• 在国家级警察训练设施的真实声学数据上评估机器学习模型。
• 通过准确记录训练事件数量，支持对枪击声和爆炸物使用年度限额的合规管理。
• 通过检测脉冲事件而非仅整体声级，改进现有噪声监测方法。

提出的方法

• 从国家级警察训练设施中，针对多种武器类型和不同位置采集时序声学数据。
• 提取标准声学指标，包括A计权声级和1/3倍频程声谱图，作为模型输入。
• 训练并比较多种分类器：逻辑回归、随机森林和卷积神经网络（CNN）。
• 采用逐窗评估方法，绘制检测错误权衡（DET）曲线，并通过sed-eval计算逐事件指标。
• 应用阈值将概率输出转换为二值事件检测结果，用于记录目的。
• 分析误报与漏报，识别标签不准确之处及事件边界定义的潜在改进空间。

实验结果

研究问题

• RQ1 机器学习模型能否在真实户外射击场环境中可靠检测并统计脉冲噪声事件（如枪击声和爆炸声）？
• RQ2 不同机器学习模型（如CNN、逻辑回归、随机森林）在噪声事件检测中的误报率与漏报率表现如何比较？
• RQ3 该系统在多大程度上可通过准确记录年度限额内的训练事件数量，支持监管合规？
• RQ4 标签不一致（尤其是事件起始点）对模型评估与性能有何影响？
• RQ5 该系统能否扩展以区分训练活动产生的噪声与其他环境噪声源（如交通或直升机）？

主要发现

• 卷积神经网络（CNN）模型表现最佳，F1得分为80.5%，精确率为95.5%，召回率为69.6%。
• 与逻辑回归和随机森林相比，CNN模型的误报率显著更低，这一点在噪声时间窗占比极低的背景下尤为重要。
• 系统插入错误率仅为4.5%，满足将事件数量估算在±10%以内的要求。
• 删除错误率高达30.4%，超过目标值，表明漏检事件仍是主要挑战。
• 分析显示，许多被错误标记的窗口实际上被正确分类，提示若能优化事件边界定义（如聚焦于脉冲起始点），性能可进一步提升。
• 该系统展示了自动化生成训练活动日志的可行性，有助于满足按时间与年度事件数量的合规限制。