[論文レビュー] Audio Surveillance: a Systematic Review

Marco Crocco, Marco Cristani+2 more|arXiv (Cornell University)|Sep 27, 2014

Music and Audio Processing被引用数 32

ひとこと要約

本論文は、背景差分、イベント分類、オブジェクト追跡、状況分析をカバーする統一的分類法を提示する、音声ベースの自動監視に関する最初の体系的レビューである。音声特徴、アルゴリズム、およびその応用分野における強みを評価し、ノイズやプライバシー懸念といった課題にもかかわらず、実世界の監視タスクに最適な手法を選定するための意思決定テーブルを提供する。

ABSTRACT

Despite surveillance systems are becoming increasingly ubiquitous in our living environment, automated surveillance, currently based on video sensory modality and machine intelligence, lacks most of the time the robustness and reliability required in several real applications. To tackle this issue, audio sensory devices have been taken into account, both alone or in combination with video, giving birth, in the last decade, to a considerable amount of research. In this paper audio-based automated surveillance methods are organized into a comprehensive survey: a general taxonomy, inspired by the more widespread video surveillance field, is proposed in order to systematically describe the methods covering background subtraction, event classification, object tracking and situation analysis. For each of these tasks, all the significant works are reviewed, detailing their pros and cons and the context for which they have been proposed. Moreover, a specific section is devoted to audio features, discussing their expressiveness and their employment in the above described tasks. Differently, from other surveys on audio processing and analysis, the present one is specifically targeted to automated surveillance, highlighting the target applications of each described methods and providing the reader tables and schemes useful to retrieve the most suited algorithms for a specific requirement.

研究の動機と目的

• 低照度、影、天候の影響といった悪条件下での動画のみに依存する監視の限界を解消すること。
• 音声を自動監視の補完的または代替的感覚モダリティとして活用し、耐障害性と低データコストの利点を活かすこと。
• 低レベル処理から意味的シーン解析に至るまで、音声ベースの監視手法を包括的かつ応用指向で分類する体系的分類法を提供すること。
• プライバシーに配慮が必要な環境を含む、実際の監視シナリオにおけるさまざまな音声処理技術の利点と欠点を評価すること。
• 特定の応用要件に基づいて最適な音声ベース手法を選定するための実用的ツール（テーブルおよび図）を提供すること。

提案手法

• 動画監視にインspiredされた体系的分類法を提案し、音声監視を4つのコアタスク（背景差分、イベント分類、オブジェクト追跡、状況分析）に分類する。
• 既存の音声ベース手法をレビュー・分類し、特定の監視文脈や運用制約における適性を強調する。
• スペクトル的、時間的、エネルギーベースの表現を含む、監視における表現力と有用性に優れた音声特徴を分析する。
• イベント検出のための特徴学習技術（例：Bag-of-Aural-Words (BoAW)、HMMベースのモデリング、辞書学習（Gabor素子、NMF、PCAなど））を検討する。
• 教師ありおよび教師なしアプローチを評価し、信頼度推定のためのLVQや、繰り返し発生する音声イベントを同定するモチーフ発見を含む。
• 学習済み辞書と固定辞書の比較を行い、一般化性能、複雑さ、ノイズ下での性能におけるトレードオフを強調する。

実験結果

リサーチクエスチョン

• RQ1 動画監視の分類法を模倣する形で、音声ベース手法を監視フレームワーク内で体系的に分類する方法は何か？
• RQ2 実世界の監視において、背景差分やイベント分類といった低レベルタスクに最も効果的な音声特徴および処理技術は何か？
• RQ3 特にノイズが多い環境やプライバシーに配慮が必要な環境において、教師あり学習と教師なし学習のアプローチにはどのような利点と制限があるか？
• RQ4 BoAW や HMM や固定辞書などの異なる特徴表現戦略は、音声イベント検出の耐障害性と正確性にどのように影響を与えるか？
• RQ5 特定の応用シナリオにおいて、ある音声監視手法を選定するにあたり、どのような基準を用いるべきか？

主な発見

• 動画のみのシステムに比べ、音声監視は、全方位的センシング、照明や温度変化への耐性、低帯域幅要件といった顕著な利点を有する。
• Bag-of-Aural-Words (BoAW) アプローチにより、騒音環境下でも叫び声、銃声、ガラスの割れる音といった複雑な音声イベントの分類が堅牢に可能である。
• 教師なし手法（例：モチーフ発見、HMMベースのモデリング）により、事前のラベル付けが不要な状態で繰り返し発生する音声イベントを検出でき、柔軟性が向上する。
• Gabor素子やNMFを用いた固定辞書アプローチは、学習済み辞書よりも一般化性能に優れるが、より大きな過完全表現を必要とする。
• LVQベースの分類における信頼度フィルタリングにより、曖昧な予測を除外し、高信頼度フレームの多数決を用いることで、信頼性が向上する。
• プライバシー懸念があるにかかわらず、音声監視は動画監視に比べて侵入性が低いと認識されるため、住宅、銀行、エレベーターなどのセンシティブな環境に適している。