[論文レビュー] Sound Event Recognition in a Smart City Surveillance Context

Tito Spadini, Dimitri Leandro de Oliveira Silva+1 more|arXiv (Cornell University)|Oct 27, 2019

Music and Audio Processing参考文献 18被引用数 4

ひとこと要約

本論文は、ビデオではなく音声を用いたスマートシティ監視のための軽量な音声イベント認識（SER）システムを提案する。手作業で特徴を抽出し、効率的な分類器を用いてSESAデータセットで評価した。確率的勾配降下法（SGD）分類器が72.13%の正確性とたった6.81 msの推論時間で最も良好なバランスを達成し、都市監視システムにおけるリアルタイム埋め込みデプロイの可能性を示した。

ABSTRACT

Due to the growing demand for improving surveillance capabilities in smart cities, systems need to be developed to provide better monitoring capabilities to competent authorities, agencies responsible for strategic resource management, and emergency call centers. This work assumes that, as a complementary monitoring solution, the use of a system capable of detecting the occurrence of sound events, performing the Sound Events Recognition (SER) task, is highly convenient. In order to contribute to the classification of such events, this paper explored several classifiers over the SESA dataset, composed of audios of three hazard classes (gunshots, explosions, and sirens) and a class of casual sounds that could be misinterpreted as some of the other sounds. The best result was obtained by SGD, with an accuracy of 72.13% with 6.81 ms classification time, reinforcing the viability of such an approach.

研究の動機と目的

• ビデオベースの監視と補完するコスト効果的でリアルタイムな音声イベント認識システムの開発。
• 危険なイベント（銃声、爆発音、サイレン）と日常的な音を検出する目的で、SESAデータセット上で複数の分類器を評価すること。
• 低コストの埋め込みハードウェアへのデプロイを想定し、分類の正確性と低い推論時間の両立を図ること。
• 実世界のスマートシティアプリケーションにおける最も効率的で正確な分類器を同定すること。
• 特徴工学と次元削減のSERパフォーマンスへの影響を評価すること。

提案手法

• 200 msの音声フレーム（50%オーバーラップ）から、標準的な音声処理技術を用いて137の時間的・スペクトル的・ケプストラル特徴を抽出した。
• 特徴の正規化と分散に基づくフィルタリングを実施後、次元削減のため主成分分析（PCA）を適用した。
• SESAデータセット（3つの危険クラスと1つの日常的クラスを含む）を用い、3-fold交差検証で13の分類器を訓練・評価した。
• 性能と効率のトレードオフを評価するため、分類の正確性と推論時間を測定した。
• 標準化されたパイプライン（特徴抽出 → プリプロセッシング → 特徴選択 → モデル訓練 → 交差検証評価）を用いた。
• 埋め込みデプロイの可能性を考慮し、正確性と推論速度の両面で最高のパフォーマンスを示したモデルを選定した。

実験結果

リサーチクエスチョン

• RQ1 スマートシティ監視の文脈において、音声イベント認識の正確性と推論速度の両立を最もよく果たす分類器は何か？
• RQ2 手作業で抽出した音声特徴と単純な分類器を組み合わせることで、危険な音声イベントと日常的な環境音をどれほど効果的に区別できるか？
• RQ3 SGD やパーセプトロンのような軽量モデルは、埋め込みシステムにおけるリアルタイムデプロイに十分な正確性を達成できるか？
• RQ4 次元削減は分類器のパフォーマンスと計算効率にどのような影響を与えるか？
• RQ5 KNN や SVM といった複雑なモデルは、リアルタイム音声イベント検出に応用された場合、正確性と処理時間の点でどのように比較されるか？

主な発見

• SGD分類器が最高の全体的パフォーマンスを示し、72.13%の正確性と1サンプルあたり6.81 msの最速の推論時間を達成した。
• バギング（Bagging）が最高の正確性（73.05%）を記録したが、著しく遅く（1サンプルあたり5.16秒）、リアルタイム用途には不適切であった。
• KNNは最も遅く、分類1件あたり21.55秒を要し、SGDの3,000倍以上も遅かった。
• リッジ回帰は正確性が低く（69.51%）、分散が高かった（13.70%）ため、不安定でこのタスクには不適切であると判明した。
• パーセプトロン、パasive Aggressive、リッジ分類器はいずれも高速で、推論時間が7 ms未満であったが、正確性が高く保たれたのはSGDのみであった。
• 特徴工学、正規化、およびPCAの組み合わせにより、モデルの効率が著しく向上し、計算負荷が軽減された。