[论文解读] Acoustic event detection for multiple overlapping similar sources

Dan Stowell, David F. Clayton|arXiv (Cornell University)|Mar 24, 2015

Music and Audio Processing参考文献 8被引用 4

一句话总结

本文提出了一种用于检测多音重叠自然声音中声学事件的起始-持续时间-结束（ODO）模型，特别针对斑马雀鸣叫等多个相同声源可同时发声的场景。通过在不假设固定音色数或严格时间模式的前提下，对起始、持续时间和结束时间进行概率建模，ODO方法在事件计数和高重叠情况下的转录任务中，相比基于HMM的方法展现出更高的准确性和鲁棒性。

ABSTRACT

Many current paradigms for acoustic event detection (AED) are not adapted to the organic variability of natural sounds, and/or they assume a limit on the number of simultaneous sources: often only one source, or one source of each type, may be active. These aspects are highly undesirable for applications such as bird population monitoring. We introduce a simple method modelling the onsets, durations and offsets of acoustic events to avoid intrinsic limits on polyphony or on inter-event temporal patterns. We evaluate the method in a case study with over 3000 zebra finch calls. In comparison against a HMM-based method we find it more accurate at recovering acoustic events, and more robust for estimating calling rates.

研究动机与目标

• 解决现有声学事件检测（AED）方法假设单音场景或固定数量同时发声源的局限性。
• 开发一种对高音色数和自然声音中有机变异具有鲁棒性的方法，例如重叠的鸟鸣声。
• 实现在未知数量相似声源的录音中准确进行事件计数和转录，适用于生态监测。
• 在大规模斑马雀鸣叫数据集上评估该方法在真实复杂声学条件下的性能。

提出的方法

• 使用由起始时间 $ t $ 和持续时间 $ \tau $ 定义的二维空间建模声学事件，后验概率 $ p_{\text{evt}}(t,\tau|\mathbf{y}) \propto p_{\text{on}}(t|\mathbf{y}) \, p_{\text{off}}(t+\tau|\mathbf{y}) \, p_{\text{dur}}(\tau) $。
• 使用随机森林回归从时间差分谱图中估计起始和结束检测概率。
• 通过在事件持续时间上学习高斯混合模型（GMM）先验，以提升鲁棒性和准确性。
• 利用概率框架结合起始、结束和持续时间概率，实现无界音色数的建模。
• 在斑马雀鸣叫数据集上，通过交叉验证将ODO模型与因子HMM系统及ODO+HMM联合系统进行比较。
• 采用谱中值相减进行降噪处理，并使用50%重叠的Hann窗谱图，帧长为2048点。

Figure 1: Schematic diagram of onset-duration-offset event detection model.

实验结果

研究问题

• RQ1 在多音重叠的自然声音场景中，概率起始-持续时间-结束模型是否能比基于HMM的方法更准确地检测重叠声学事件？
• RQ2 在高变异性和高音色数条件下，引入学习到的持续时间先验对检测性能有何影响？
• RQ3 ODO模型在训练与测试数据事件密度不匹配时，其鲁棒性如何？
• RQ4 ODO模型在事件转录和事件计数任务中是否均优于基于HMM的系统？
• RQ5 ODO模型是否能有效处理无界音色数，而无需假设同时发声源的固定数量？

主要发现

• ODO模型在事件转录任务中的F1值约为37%，与同类任务的最先进方法水平相当。
• 采用学习到的GMM持续时间先验的ODO模型显著优于采用平坦持续时间先验的版本，证明了建模持续时间变异性的价值。
• 基于HMM的系统在转录和计数任务中均显著劣于ODO模型，尤其在训练与测试条件不匹配时表现更差。
• ODO+HMM联合系统优于独立的HMM系统，但仍无法达到独立ODO模型的性能水平。
• 所有系统在事件密度不匹配条件下均出现性能下降，表明需要提升对事件密度广泛变化的鲁棒性。
• 原始起始检测器输出表现明显劣于完整系统，证实ODO框架显著提升了基础检测器的性能。

Figure 2: Schematic diagram of how probabilities are combined in the onset-duration-offset event detection model. Each source of probabilistic information is a marginal with respect to a different direction in the [onset $\times$ duration] space.