[论文解读] Audio Surveillance: a Systematic Review

Marco Crocco, Marco Cristani+2 more|arXiv (Cornell University)|Sep 27, 2014

Music and Audio Processing被引用 32

一句话总结

本文首次系统性地回顾了基于音频的自动化监控技术，将方法整合为统一的分类体系，涵盖背景减除、事件分类、目标跟踪和情境分析。该研究评估了音频特征、算法及其在特定应用中的优势，尽管面临噪声和隐私问题等挑战，仍提供了决策表以指导在实际监控任务中选择最优方法。

ABSTRACT

Despite surveillance systems are becoming increasingly ubiquitous in our living environment, automated surveillance, currently based on video sensory modality and machine intelligence, lacks most of the time the robustness and reliability required in several real applications. To tackle this issue, audio sensory devices have been taken into account, both alone or in combination with video, giving birth, in the last decade, to a considerable amount of research. In this paper audio-based automated surveillance methods are organized into a comprehensive survey: a general taxonomy, inspired by the more widespread video surveillance field, is proposed in order to systematically describe the methods covering background subtraction, event classification, object tracking and situation analysis. For each of these tasks, all the significant works are reviewed, detailing their pros and cons and the context for which they have been proposed. Moreover, a specific section is devoted to audio features, discussing their expressiveness and their employment in the above described tasks. Differently, from other surveys on audio processing and analysis, the present one is specifically targeted to automated surveillance, highlighting the target applications of each described methods and providing the reader tables and schemes useful to retrieve the most suited algorithms for a specific requirement.

研究动机与目标

• 解决纯视频监控在低光照、阴影和天气干扰等恶劣条件下性能受限的问题。
• 探索音频作为自动化监控的补充或替代感官模态，利用其鲁棒性及更低的数据成本。
• 提供一个全面且面向应用的基于音频的监控方法分类体系，涵盖从低层处理到语义场景分析的全过程。
• 评估各种音频处理技术在真实监控场景（包括隐私敏感环境）中的优缺点。
• 提供实用的决策工具（表格与图表），根据具体应用需求指导选择最合适的基于音频的监控方法。

提出的方法

• 提出一种受视频监控启发的系统性分类体系，将音频监控划分为四大核心任务：背景减除、事件分类、目标跟踪和情境分析。
• 回顾并分类现有基于音频的监控方法，强调其在特定监控场景和运行约束下的适用性。
• 分析音频特征在表达力和监控实用性方面的表现，包括频谱、时域及能量特征表示。
• 研究特征学习技术（如词袋音频词（BoAW）、基于隐马尔可夫模型（HMM）的建模，以及字典学习（如Gabor原子、非负矩阵分解（NMF）、主成分分析（PCA）））在事件检测中的应用。
• 评估监督与无监督方法，包括使用学习向量量化（LVQ）进行置信度估计，以及使用模式发现技术检测重复性音频事件。
• 比较学习字典与固定字典的性能，突出其在泛化能力、复杂度和噪声环境下的性能权衡。

实验结果

研究问题

• RQ1 如何在监控框架内系统性地对基于音频的方法进行分类，以镜像现有的视频监控分类体系？
• RQ2 在真实监控场景中，哪些音频特征和处理技术在背景减除与事件分类等低层任务中最为有效？
• RQ3 在噪声环境或隐私敏感环境中，监督学习与无监督学习方法在音频监控中的优势与局限性是什么？
• RQ4 不同的特征表示策略（如BoAW、HMM、固定字典）如何影响音频事件检测的鲁棒性与准确性？
• RQ5 应依据哪些标准来为特定应用场景选择合适的音频监控方法？

主要发现

• 与纯视频系统相比，音频监控具有显著优势，包括全向感知能力、对光照与温度变化的鲁棒性，以及更低的数据带宽需求。
• 词袋音频词（BoAW）方法即使在嘈杂环境中也能实现对复杂音频事件（如尖叫、枪声、玻璃破碎）的稳健分类。
• 无监督方法（如模式发现与基于HMM的建模）可在无需预先标注的情况下检测重复性音频事件，从而提升系统适应性。
• 使用Gabor原子或NMF的固定字典方法在泛化能力上优于学习字典，但需要更大且过完备的表示。
• 基于置信度的过滤机制在LVQ分类中可提高可靠性，通过剔除模糊预测并采用高置信度帧的多数投票策略。
• 尽管存在隐私顾虑，音频监控仍被认为比视频监控更具隐蔽性，因此适用于家庭、银行和电梯等敏感环境。