[论文解读] Capsule Routing for Sound Event Detection

Turab Iqbal, Yong Xu+2 more|View|Jun 12, 2018

Music and Audio Processing被引用 5

一句话总结

该论文提出了一种用于弱监督声音事件检测的动态路由胶囊网络，通过利用部件-整体关系来提升泛化能力并减少过拟合。在DCASE 2017任务4上评估，其在音频标记任务上达到58.6%的F-score，在事件检测任务上达到46.3%的F-score，相比CNN和RNN基线模型显著减少了过拟合。

ABSTRACT

The detection of acoustic scenes is a challenging problem in which environmental sound events must be detected from a given audio signal. This includes classifying the events as well as estimating their onset and offset times. We approach this problem with a neural network architecture that uses the recently-proposed capsule routing mechanism. A capsule is a group of activation units representing a set of properties for an entity of interest, and the purpose of routing is to identify part-whole relationships between capsules. That is, a capsule in one layer is assumed to belong to a capsule in the layer above in terms of the entity being represented. Using capsule routing, we wish to train a network that can learn global coherence implicitly, thereby improving generalization performance. Our proposed method is evaluated on Task 4 of the DCASE 2017 challenge. Results show that classification performance is state-of-the-art, achieving an F-score of 58.6%. In addition, overfitting is reduced considerably compared to other architectures.

研究动机与目标

• 为解决小样本数据下弱标签声音事件检测中的过拟合问题，提出基于胶囊的架构。
• 通过学习音频表征中的部件-整体关系，提升全局结构一致性，从而改善泛化能力。
• 评估胶囊路由是否可作为有效的注意力机制，在无强时序监督下实现声音事件定位。
• 在音频标记和声音事件检测任务中，将胶囊网络与标准CNN和RNN架构进行比较。

提出的方法

• 使用胶囊——一组表示声音事件属性（如起始时间、结束时间、类别）的神经元——来编码层次化特征。
• 应用动态路由计算相邻层胶囊之间的耦合系数，实现类似注意力的部件到整体关系加权。
• 采用基于一致性的路由机制，根据预测一致性将低层胶囊路由至高层胶囊。
• 使用基于边缘的损失函数优化分类与定位任务，对起始和结束时间检测设置独立阈值。
• 使用类别平衡采样的小批量随机梯度下降进行模型训练，以缓解数据不平衡问题。
• 在推理阶段应用膨胀和腐蚀操作（卷积核大小分别为10和5），以精细化预测的事件边界。

Figure 1: A contrived illustration of the capsule routing concept. Activation units are shown as circles and capsules are shown as the dashed lines around them. The figure beside each capsule is the entity the capsule represents. The capsules in layer $l$ are shown to the left while the capsules in

实验结果

研究问题

• RQ1 胶囊路由是否能在小样本数据的弱监督声音事件检测中提升泛化能力？
• RQ2 动态路由机制是否能有效学习音频特征中的部件-整体关系，从而实现更好的定位性能？
• RQ3 胶囊网络在过拟合和声音事件检测任务性能方面，与循环网络和卷积网络相比表现如何？
• RQ4 胶囊路由在多大程度上可作为声音事件检测的隐式注意力机制？
• RQ5 胶囊网络是否能在DCASE 2017的音频标记和声音事件检测子任务上达到最先进性能？

主要发现

• 所提出的GCCaps模型在DCASE 2017音频标记子任务上实现了58.6%的最先进F-score，优于所有基线模型。
• 在声音事件检测子任务上，GCCaps实现了46.3%的F-score和0.76%的错误率，在消融实验中优于GCNN（37.5% F-score）和GCRNN（43.3% F-score）。
• 该模型表现出显著减少的过拟合现象，表现为训练损失更低，且验证准确率在训练周期中未下降，优于其他架构。
• 动态路由促进了更好的泛化能力，模型在训练周期中保持稳定性能，未出现严重发散。
• 胶囊架构在无强时序监督下，比循环网络或标准CNN架构更有效地减少过拟合。
• 结果表明，胶囊路由可作为弱标签SED任务中建模时序依赖关系的可行替代方案，替代循环层。

Figure 3: Diagram of the proposed neural network architecture. After the primary capsule layer, the output is divided into time slices. These slices are transformed by the subsequent layers to give $o(t)$ and $z(t)$ , which are then merged.