[논문 리뷰] Automatic Detection Of Noise Events at Shooting Range Using Machine Learning

Jon Nordby, Fabian Nemazi외 1명|arXiv (Cornell University)|2021. 07. 23.

Music and Audio Processing참고 문헌 19인용 수 4

한 줄 요약

이 논문은 음향 센서와 시계열 음성 특징을 사용하여 실외 사격장에서 총격 및 폭발 사건을 자동으로 감지하고 세는 기계학습 시스템을 제시한다. 합성곱 신경망(CNN)이 가장 뛰어난 성능을 보였으며, F1 스코어 80.5%와 삽입 오차 4.5%를 기록하여 규제 준수를 위한 훈련 활동 기록을 신뢰성 있게 지원한다.

ABSTRACT

Outdoor shooting ranges are subject to noise regulations from local and national authorities. Restrictions found in these regulations may include limits on times of activities, the overall number of noise events, as well as limits on number of events depending on the class of noise or activity. A noise monitoring system may be used to track overall sound levels, but rarely provide the ability to detect activity or count the number of events, required to compare directly with such regulations. This work investigates the feasibility and performance of an automatic detection system to count noise events. An empirical evaluation was done by collecting data at a newly constructed shooting range and training facility. The data includes tests of multiple weapon configurations from small firearms to high caliber rifles and explosives, at multiple source positions, and collected on multiple different days. Several alternative machine learning models are tested, using as inputs time-series of standard acoustic indicators such as A-weighted sound levels and 1/3 octave spectrogram, and classifiers such as Logistic Regression and Convolutional Neural Networks. Performance for the various alternatives are reported in terms of the False Positive Rate and False Negative Rate. The detection performance was found to be satisfactory for use in automatic logging of time-periods with training activity.

연구 동기 및 목표

• 규제 준수를 위해 사격장에서 소음 사건을 자동으로 감지하고 세는 시스템을 개발한다.
• 지속적인 음압 수준만 기록하는 표준 소음 모니터링 시스템에서 이벤트 수준 감지를 부족한 문제를 해결한다.
• 국립 경찰 훈련 시설에서 확보한 실제 음향 데이터를 바탕으로 기계학습 모델을 평가한다.
• 총격 및 폭발의 연간 제한 기준을 충족하기 위해 훈련 활동을 정확히 기록할 수 있도록 한다.
• 기존의 소음 모니터링 방식을 개선하여 전체 음압 수준 외에도 급격한 소음 사건을 감지한다.

제안 방법

• 국립 경찰 훈련 시설에서 다양한 무기 유형과 위치에서 시계열 음향 데이터를 확보했다.
• 모델 입력으로 사용하기 위해 A가중 음압 수준 및 1/3 옥타브 스펙트로그램과 같은 표준 음향 지표를 추출했다.
• 다양한 분류기 모델을 훈련하고 비교: 로지스틱 회귀, 랜덤 포레스트, 합성곱 신경망(CNN).
• 윈도우 기반 평가를 위해 감지 오차 무역(curve)과 sed-eval를 통한 이벤트 기반 메트릭을 활용했다.
• 기록 목적을 위해 확률 출력을 이진 이벤트 감지로 변환하기 위해 임계값을 적용했다.
• 거짓 양성 및 거짓 음성 사례를 분석하여 레이블 정확도 부족과 이벤트 경계 정의 향상 가능성을 규명했다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 실외 사격장 환경에서 총격 및 폭발과 같은 급격한 소음 사건을 신뢰성 있게 감지하고 세는 데 성공할 수 있는가?
• RQ2 로지스틱 회귀, 랜덤 포레스트, CNN 등 다양한 기계학습 모델은 소음 사건 감지에서 거짓 양성 및 거짓 음성 비율 측면에서 어떻게 상호 비교되는가?
• RQ3 정확한 기록을 통해 시스템이 연간 제한 기준 내에서 훈련 이벤트 수를 얼마나 잘 기록하여 규제 준수를 지원할 수 있는가?
• RQ4 특히 이벤트 시작 시점 주변의 레이블 불일치는 모델 평가 및 성능에 어떤 영향을 미치는가?
• RQ5 시스템을 확장하여 훈련 활동에서 발생하는 소음과 교통, 헬리콥터 등 기타 환경적 소음원을 구분할 수 있는가?

주요 결과

• 합성곱 신경망(CNN) 모델이 가장 높은 성능을 보였으며, F1 스코어 80.5%, 정밀도 95.5%, 재현도 69.6%를 기록했다.
• 로지스틱 회귀 및 랜덤 포레스트에 비해 CNN 모델은 훨씬 낮은 거짓 양성률을 보였으며, 이는 소음이 드문 시간 윈도우에서 매우 중요한 요소였다.
• 시스템은 삽입 오차율 4.5%를 달성하여 이벤트 수를 ±10% 이내로 추정하는 요구 조건을 충족했다.
• 삭제 오차율은 30.4%로 목표치를 초과하여, 빠진 이벤트는 여전히 도전 과제로 남아 있다.
• 분석 결과, 잘못 레이블링된 윈도우의 대부분이 실제로 정확히 분류된 것으로 나타나, 급격한 시작 시점에 초점을 맞춘 이벤트 경계 정의의 개선이 성능 향상에 기여할 수 있음을 시사했다.
• 시스템은 훈련 활동의 자동 로그북 생성 가능성을 입증하였으며, 시간대 및 연간 이벤트 수 제한 준수를 지원한다.