[論文レビュー] Empirical Study of Drone Sound Detection in Real-Life Environment with Deep Neural Networks

Sungho Jeon, Jong-Woo Shin+4 more|arXiv (Cornell University)|Jan 20, 2017

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

本研究では、拡張された音声データで訓練された深層ニューラルネットワーク（DNN）を用いて、騒々しい都市環境における商用のレクリエーションドローンをリアルタイムで検出するシステムを提案する。メルスペクトログ램とRNNを用いることで、240 msの入力でFスコア0.8009を達成し、GMMおよびCNNモデルを上回る性能を示し、リアルタイムの脅威検出システムとしての実用的妥当性を裏付けた。

ABSTRACT

This work aims to investigate the use of deep neural network to detect commercial hobby drones in real-life environments by analyzing their sound data. The purpose of work is to contribute to a system for detecting drones used for malicious purposes, such as for terrorism. Specifically, we present a method capable of detecting the presence of commercial hobby drones as a binary classification problem based on sound event detection. We recorded the sound produced by a few popular commercial hobby drones, and then augmented this data with diverse environmental sound data to remedy the scarcity of drone sound data in diverse environments. We investigated the effectiveness of state-of-the-art event sound classification methods, i.e., a Gaussian Mixture Model (GMM), Convolutional Neural Network (CNN), and Recurrent Neural Network (RNN), for drone sound detection. Our empirical results, which were obtained with a testing dataset collected on an urban street, confirmed the effectiveness of these models for operating in a real environment. In summary, our RNN models showed the best detection performance with an F-Score of 0.8009 with 240 ms of input audio with a short processing time, indicating their applicability to real-time detection systems.

研究の動機と目的

• 実際の騒々しい都市環境における音声信号を用いたリアルタイムのドローン検出システムの開発。
• 実際の状況下で実証された音声分類モデル（GMM、CNN、RNN）のドローン音声検出における有効性の評価。
• ドローン音声データの不足を補うために、多様な環境音を用いた音声拡張を実施。
• リアルタイム展開を想定したFスコアおよび処理時間の観点からモデルの性能を評価。
• ドローンとマイクとの距離の増加が検出性能に与える影響を調査し、将来の向上策としてビームフォーミングの可能性を検討。

提案手法

• 静かな屋外環境で生のドローン音声を収集し、公開データセットから得た実際の環境音を用いて拡張処理を行い、現実の音響状況を模擬。
• ドローン音声のピーク振幅を背景ノイズを上回る5%に拡大することでデータ拡張を実施し、ドローンの特徴を保持。
• 周波数スペクトルパターン、特に1500 Hz未満の高調波および5000–7000 Hzのエネルギーピークを捉えるために、音声クリップからメルスペクトログラム特徴量を抽出。
• ドローン存在の二値分類を目的とした、ガウス・ミックスチャネル・モデル（GMM）、畳み込みニューラルネットワーク（CNN）、再帰的ニューラルネットワーク（RNN）の3つのモデルを訓練。
• 検出精度とリアルタイム処理制約の両立を図るため、推論に240 msの音声ウィンドウを採用。
• 実際の都市街路でのテストデータセットを用いてモデルを評価し、各処理段階の実行時間を測定してリアルタイム実現可能性を検証。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、高い背景ノイズを伴う実際の都市環境でもドローン音声を効果的に検出できるか？
• RQ2 多様な環境音を用いたデータ拡張は、実世界データに対するモデルの汎化性能と性能向上にどのように寄与するか？
• RQ3 GMM、CNN、RNNのうち、リアルタイム展開に最適な検出精度と処理時間のバランスを達成するのはどれか？
• RQ4 ドローンとマイクとの距離が増加するにつれて検出性能にどのような影響が生じるか？
• RQ5 未知の環境条件下でのモデル性能の低下度合いはどの程度か。また、より良い訓練データによりこれを緩和できるか？

主な発見

• RNNモデルは240 msの入力音声を使用して、実際の都市環境テストデータセットで最高のFスコア0.8009を達成し、GMMおよびCNNを上回った。
• 未知の環境データではRNNが最も優れた性能を示し、Fスコア0.6984を記録し、分布シフトに対する頑健性を示した。
• GMMモデルは一般化性能が著しく低く、未知データでFスコアがたった0.3910にとどまり、負例の過剰予測が原因であった。
• データ拡張はモデル性能の向上に顕著に寄与し、特にRNNはトレーニング段階で多様な背景ノイズを経験することで利益を得た。
• 特徴抽出処理（1分間の音声あたり145 ms）が最も処理時間が長くかかったが、すべてのモデルがリアルタイム利用に適していると判断された。
• RNNモデルはGMM（40 ms）に比べて長い入力ウィンドウ（240 ms）を必要としており、初期検出が遅れる可能性があるが、精度向上に寄与している。