[论文解读] Leveraging Hierarchical Structures for Few-Shot Musical Instrument Recognition

Hugo Flores García, Aldo Aguilar+2 more|arXiv (Cornell University)|Jul 14, 2021

Music and Audio Processing被引用 11

一句话总结

本文提出了一种用于音乐乐器识别的分层少样本学习方法，通过在原型网络中引入分层损失和基于预定义乐器分类体系（如霍恩博斯特尔-萨克斯分类法）的原型聚合，实现了性能提升。该方法通过利用分类体系中的共享亲缘关系，提高了对未见乐器（尤其是稀有乐器如中阮）的分类准确率，并降低了误分类的严重性，优于非分层基线模型，且无需修改网络架构。

ABSTRACT

Deep learning work on musical instrument recognition has generally focused on instrument classes for which we have abundant data. In this work, we exploit hierarchical relationships between instruments in a few-shot learning setup to enable classification of a wider set of musical instruments, given a few examples at inference. We apply a hierarchical loss function to the training of prototypical networks, combined with a method to aggregate prototypes hierarchically, mirroring the structure of a predefined musical instrument hierarchy. These extensions require no changes to the network architecture and new levels can be easily added or removed. Compared to a non-hierarchical few-shot baseline, our method leads to a significant increase in classification accuracy and significant decrease mistake severity on instrument classes unseen in training.

研究动机与目标

• 为训练期间未见过的乐器类别实现少样本音乐乐器识别，解决多样音乐乐器类别中的数据稀缺问题。
• 通过利用乐器分类法中的分层关系，提升对未见乐器的分类性能并降低误分类严重性。
• 开发一种将分层结构整合到原型网络中的方法，无需修改网络架构，支持灵活添加或移除层次级别。
• 评估不同分层结构（如霍恩博斯特尔-萨克斯分类法与随机树）对少样本学习性能的影响。
• 探究一种新型加权分层交叉熵损失在引导模型学习有意义分层表征方面的有效性。

提出的方法

• 该方法通过在多个粒度级别上计算原型来扩展原型网络：将细粒度的支持样本通过类似层次聚类的过程聚合为更高层级的元原型。
• 引入一种加权分层交叉熵损失，损失值通过可学习参数 α 进行缩放，以强调细粒度或粗粒度分类，其中 α ∈ {−1, −0.5, 0, 0.5, 1}。
• 分层结构建模为一棵树，原型从叶节点（具体乐器）向父节点（如“弦鸣乐器”等宽泛类别）逐级传播。
• 采用元训练方式端到端训练模型，每个训练周期从 N 个类别中采样 K 个支持样本/类，预测通过计算与原型的余弦相似度完成。
• 该方法支持动态词汇扩展：仅需少量样本即可添加新的乐器类别，充分利用分类体系中的亲缘关系。
• 霍恩博斯特尔-萨克斯分类法被用作标准分层结构，但消融实验也评估了随机树结构以检验模型鲁棒性。

实验结果

研究问题

• RQ1 在少样本学习中引入分层结构是否能提升对未见音乐乐器类别的分类准确率并降低误分类严重性？
• RQ2 一种同时强调粗粒度和细粒度类别的分层损失函数，是否能比平坦的多标签交叉熵基线带来更好的泛化性能？
• RQ3 分层结构的选择（如霍恩博斯特尔-萨克斯分类法与随机树）如何影响少样本学习性能及对分布外乐器的泛化能力？
• RQ4 模型在多大程度上能利用乐器分类体系中的共享亲缘关系，以极少样本对稀有乐器（如中阮）进行准确分类？
• RQ5 性能提升源于分层结构本身，还是随机树也能实现相当的性能？

主要发现

• 所提方法在中阮这一罕见乐器上的 F1 分数相对提升了 +16.56%，该乐器在西方音乐数据集中代表性不足。
• 该模型在测试集中的 24 个乐器类别中有 18 个优于非分层基线，表明在多样化乐器类型中具有更广泛的泛化能力。
• 当 α = 1（强调细粒度类别）时，分层损失取得了最佳性能，显著优于平坦二元交叉熵基线，后者导致性能严重下降。
• 霍恩博斯特尔-萨克斯分类法显著优于随机树结构：‘随机最优’结构匹配了性能但未能在误分类严重性上实现泛化，而‘随机最差’结构导致了统计显著的性能下降（p < 0.005）。
• 分层原型聚合与损失函数共同导致了分类准确率的统计显著提升，以及对未见乐器类别的误分类严重性显著降低。
• 该方法具有鲁棒性和可扩展性：无需修改网络架构，且可轻松添加或移除层次级别。