[论文解读] Adaptive pooling operators for weakly labeled sound event detection

Brian McFee, Justin Salamon+1 more|arXiv (Cornell University)|Apr 26, 2018

Music and Audio Processing参考文献 43被引用 7

一句话总结

本文提出自适应池化算子（auto-pool），通过在标准池化方法（如最大值、平均值、最小值）之间动态插值，以改进弱监督声音事件检测（SED）。通过在训练过程中联合学习池化策略，该方法在仅使用静态弱标签数据的情况下，实现了几乎与强标签模型相当的性能，显著降低了标注成本。

ABSTRACT

Sound event detection (SED) methods are tasked with labeling segments of audio recordings by the presence of active sound sources. SED is typically posed as a supervised machine learning problem, requiring strong annotations for the presence or absence of each sound source at every time instant within the recording. However, strong annotations of this type are both labor- and cost-intensive for human annotators to produce, which limits the practical scalability of SED methods. In this work, we treat SED as a multiple instance learning (MIL) problem, where training labels are static over a short excerpt, indicating the presence or absence of sound sources but not their temporal locality. The models, however, must still produce temporally dynamic predictions, which must be aggregated (pooled) when comparing against static labels during training. To facilitate this aggregation, we develop a family of adaptive pooling operators---referred to as auto-pool---which smoothly interpolate between common pooling operators, such as min-, max-, or average-pooling, and automatically adapt to the characteristics of the sound sources in question. We evaluate the proposed pooling operators on three datasets, and demonstrate that in each case, the proposed methods outperform non-adaptive pooling operators for static prediction, and nearly match the performance of models trained with strong, dynamic annotations. The proposed method is evaluated in conjunction with convolutional neural networks, but can be readily applied to any differentiable model for time-series label prediction.

研究动机与目标

• 通过允许使用弱标签数据进行训练，解决声音事件检测（SED）中强时间标注的高成本问题。
• 在标签在短音频片段上保持静态的多实例学习（MIL）设置中，提升静态预测性能。
• 开发一种可微、可学习的池化机制，使其能够适应声音事件的时间特性。
• 在不牺牲动态预测准确率的前提下，减少对强标注的依赖。
• 将该方法推广至 SED 之外，适用于时间序列分析中的其他多实例学习问题。

提出的方法

• 提出一类自适应池化算子（auto-pool），通过可微参数化方式，学习在标准池化函数（最小值、最大值、平均值）之间进行软插值。
• 使用可学习参数 α 控制池化行为，使模型能够根据每个音频片段自适应选择最合适的池化策略。
• 采用类似 Softmax 的变换，确保反向传播过程中梯度流动，相比硬性最大池化，提升了训练稳定性。
• 引入正则化变体（RAP），通过超参数 λ 控制过拟合，提升泛化能力。
• 将池化算子与卷积神经网络（CNN）联合训练，实现从弱标签数据端到端的学习。
• 采用可微池化层，可集成到任何可微的时间序列预测模型中。

实验结果

研究问题

• RQ1 与固定池化方法相比，自适应池化算子是否能提升弱监督 SED 中的静态预测性能？
• RQ2 所提出的 auto-pool 方法是否能达到与使用强实例级标注训练的模型相当的动态预测准确率？
• RQ3 模型对事件持续时间和稀疏性的适应能力如何影响其在多样化数据集上的性能表现？
• RQ4 在静态和动态评估指标方面，可微、可学习的池化机制是否优于非自适应基线方法？
• RQ5 正则化对 auto-pool 策略的泛化能力和鲁棒性有何影响？

主要发现

• 无约束的 auto-pool 方法在所有三个数据集上均取得最高的静态预测得分，优于固定池化算子。
• auto-pool 模型的动态预测准确率几乎与使用强标注训练的模型相当，展现出强大的泛化能力。
• 最大池化在长时长事件上表现较差，而平均池化在短时、稀疏事件上表现不佳，凸显了固定池化的局限性。
• 经过调优 λ 的正则化 auto-pool（RAP）始终优于非正则化变体，并在所有数据集上取得最佳性能。
• 由于优化目标聚焦于峰值激活，auto-pool 方法更倾向于提升精确率，尤其在池化行为趋近于最大池化时。
• 使用弱标签和 auto-pool 训练的模型性能可与强标签训练模型相媲美，验证了大规模弱监督 SED 的可行性。