[論文レビュー] Automatic Detection Of Noise Events at Shooting Range Using Machine Learning

Jon Nordby, Fabian Nemazi+1 more|arXiv (Cornell University)|Jul 23, 2021

Music and Audio Processing参考文献 19被引用数 4

ひとこと要約

本論文では、音響センサーや時系列音声特徴を用いて屋外射撃場における発砲および爆発イベントの自動検出および数え上げを実現する機械学習システムを提示する。畳み込みニューラルネットワーク（CNN）が最高の性能を示し、F1スコア80.5%、挿入誤差4.5%を達成した。これにより、規制遵守のための訓練活動の信頼性ある記録が可能になった。

ABSTRACT

Outdoor shooting ranges are subject to noise regulations from local and national authorities. Restrictions found in these regulations may include limits on times of activities, the overall number of noise events, as well as limits on number of events depending on the class of noise or activity. A noise monitoring system may be used to track overall sound levels, but rarely provide the ability to detect activity or count the number of events, required to compare directly with such regulations. This work investigates the feasibility and performance of an automatic detection system to count noise events. An empirical evaluation was done by collecting data at a newly constructed shooting range and training facility. The data includes tests of multiple weapon configurations from small firearms to high caliber rifles and explosives, at multiple source positions, and collected on multiple different days. Several alternative machine learning models are tested, using as inputs time-series of standard acoustic indicators such as A-weighted sound levels and 1/3 octave spectrogram, and classifiers such as Logistic Regression and Convolutional Neural Networks. Performance for the various alternatives are reported in terms of the False Positive Rate and False Negative Rate. The detection performance was found to be satisfactory for use in automatic logging of time-periods with training activity.

研究の動機と目的

• 規制遵守のため、射撃場におけるノイズイベントの自動検出および数え上げを実現するシステムの開発。
• 連続的な音圧レベルのみを記録する標準的なノイズモニタリングシステムでは、イベントレベルの検出が行われないという問題の解決。
• 国立警察訓練施設から得た実世界の音響データを用いて、機械学習モデルの評価。
• 発砲および爆発の回数を正確に記録することで、年間の発砲および爆発回数の厳格な制限を満たす。
• 全体の音圧レベルの記録にとどまらず、インパルス的ノイズイベントの検出によって、既存のノイズモニタリングを改善すること。

提案手法

• 国立警察訓練施設の複数の武器タイプおよび配置から時系列音響データを収集。
• モデルの入力として、Aウェイトド音圧レベルおよび1/3オクターブスペクトログラムを含む標準的な音響指標を抽出。
• 複数の分類器（ロジスティック回帰、ランダムフォレスト、畳み込みニューラルネットワーク（CNN））を訓練および比較。
• ウィンドウ単位での評価に検出誤差トレードオフ（DET）曲線を用い、sed-evalを介したイベント単位のメトリクスを活用。
• ログ記録の目的で、確率出力を二値のイベント検出に変換するためのしきい値を適用。
• 誤検出および見逃しの原因を特定するため、誤検出および誤検出の分析を行い、イベント境界定義の改善可能性を評価。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、実世界の屋外射撃場環境において、発砲や爆発といったインパルス的ノイズイベントを信頼性を持って検出および数え上げることができるか？
• RQ2 ロジスティック回帰やランダムフォレストなどの異なる機械学習モデル（例：CNN）は、ノイズイベント検出における誤検出率および見逃し率において、どのように比較されるか？
• RQ3 システムは、年間の制限内で訓練イベントの回数を正確に記録することで、規制遵守をどの程度支援できるか？
• RQ4 特にイベントの開始時刻周辺のラベル付けの不一致が、モデルの評価および性能にどのような影響を及えるか？
• RQ5 本システムは、交通やヘリコプターなどの他の環境要因からのノイズと、訓練活動由来のノイズを区別できるように拡張可能か？

主な発見

• 畳み込みニューラルネットワーク（CNN）モデルが最高の性能を示し、F1スコア80.5%、正確度95.5%、再現度69.6%を達成した。
• CNNモデルは、ロジスティック回帰およびランダムフォレストと比較して、著しく低い誤検出率を示しており、これはノイズを含む時間ウィンドウの割合が非常に低い状況において極めて重要である。
• システムは挿入誤差率4.5%を達成し、イベント数を±10%の範囲で推定する要件を満たした。
• 削除誤差率は30.4%であり、目標を上回っており、見逃されたイベントが依然として大きな課題であることが示された。
• 分析の結果、多くの誤ってラベル付けされたウィンドウが実際には正しく分類されていたことが判明し、インパルス的開始時刻に焦点を当てたイベント境界定義の見直しが性能向上に寄与する可能性があることが示された。
• 本システムは、訓練活動の自動ログブック作成の実現可能性を示し、時間帯および年間イベント数の制限への準拠を支援する。