[论文解读] Data-Efficient Weakly Supervised Learning for Low-Resource Audio Event Detection Using Deep Learning

Veronica Morfi, Dan Stowell|arXiv (Cornell University)|Jul 17, 2018

Music and Audio Processing被引用 19

一句话总结

该论文提出了一种数据高效、弱监督的深度学习方法，用于在低资源条件下进行音频事件检测，采用了一种新颖的多实例学习（MIL）损失函数。通过在统一损失中结合最大值、平均值和最小值池化（MMM），与标准方法（如虚假强标签或仅最大值损失）相比，该模型在瞬态事件和罕见事件的检测上表现更优，在两个低资源数据集上实现了更高的F1分数。

ABSTRACT

We propose a method to perform audio event detection under the common constraint that only limited training data are available. In training a deep learning system to perform audio event detection, two practical problems arise. Firstly, most datasets are "weakly labelled" having only a list of events present in each recording without any temporal information for training. Secondly, deep neural networks need a very large amount of labelled training data to achieve good quality performance, yet in practice it is difficult to collect enough samples for most classes of interest. In this paper, we propose a data-efficient training of a stacked convolutional and recurrent neural network. This neural network is trained in a multi instance learning setting for which we introduce a new loss function that leads to improved training compared to the usual approaches for weakly supervised learning. We successfully test our approach on two low-resource datasets that lack temporal labels.

研究动机与目标

• 解决在仅有有限、弱标签数据（无时间边界）可用时，训练准确音频事件检测器的挑战。
• 克服虚假强标签方法的局限性，该方法强制将正样本的所有帧预测为正例，导致泛化能力差。
• 在多实例学习设置中设计一种新型损失函数，以更好地从弱标签中捕捉事件的时间结构。
• 通过利用包中所有实例的梯度信号，而非仅最激活的实例，提升对罕见或短时长音频事件的检测性能。
• 通过在两个基准数据集上的实验，证明方法在不同音频事件类型和低资源设置下的泛化能力。

提出的方法

• 将音频事件检测建模为多实例学习（MIL）问题，其中每个音频录音被视为一个‘包’，由时间帧的‘实例’组成，弱标签仅表示类别存在，不包含时间边界。
• 提出一种新颖的损失函数MMM，结合三个组成部分：包内实例的最大激活（max）、平均激活（mean）和最小激活（min）。
• 采用堆叠的卷积神经网络与循环神经网络（CNN-RNN）架构，以提取分层特征并建模音频中的时间依赖性。
• 使用MMM损失训练模型，以鼓励检测显著事件和细微事件，避免对最显著实例的过拟合。
• 通过损失组件隐式引入注意力机制，聚焦于相关事件段落，同时保持对低振幅或短时事件的敏感性。
• 使用Adam优化器，对MMM组合预测结果采用二元交叉熵损失，实现从弱标签端到端的训练。

实验结果

研究问题

• RQ1 在仅使用弱标签数据的情况下，多实例学习设置中的新型损失函数是否能提升音频事件检测性能？
• RQ2 与标准的仅最大值损失相比，损失函数中引入平均值和最小值激活成分，对罕见或短时长事件的检测有何影响？
• RQ3 所提出的MMM损失是否能减少模型在正样本录音中将所有预测值推高至0.5以上阈值的倾向，从而缓解虚假强标签问题？
• RQ4 在低资源设置下，该模型在不同类型的音频事件（如鸟类鸣叫和哺乳动物叫声）上是否具有良好的泛化能力？
• RQ5 该方法在低资源音频检测基准上是否能取得优于现有弱监督基线的F1分数？

主要发现

• MMM损失在NIPS4B和DCASE 2018两个数据集上的F1分数均优于虚假强标签和标准的仅最大值损失。
• 使用MMM损失训练的模型能检测到更多细微和短时长事件，定性对比显示，仅最大值损失会忽略显著事件之间的事件。
• 损失函数中引入平均值项可使训练过程中的F1分数更高且更稳定，尤其在后期训练阶段表现更优。
• 使用MMM损失训练的模型避免了虚假强标签中常见的将正样本所有预测值推高至0.5以上阈值的问题。
• 该方法无需强时间标注即可实现性能提升，适用于低资源音频事件检测任务。
• 所提方法在不同音频事件类型上表现出良好的泛化能力，如在鸟类鸣叫和哺乳动物叫声检测任务中均得到验证。