[论文解读] Multi-Level and Multi-Scale Feature Aggregation Using Sample-level Deep Convolutional Neural Networks for Music Classification

Jongpil Lee, Juhan Nam|arXiv (Cornell University)|Jun 21, 2017

Music and Audio Processing被引用 7

一句话总结

本文提出了一种基于样本级深度卷积神经网络（DCNN）的多层级、多尺度特征聚合方法，直接处理原始波形以提升音乐分类性能。通过利用具有层级特异性特征提取能力的预训练DCNN，并在多个层级上聚合特征，该方法在GTZAN和MTAT数据集上实现了最先进（SOTA）的性能表现，尤其在捕捉不同抽象层级下的标签特异性表征方面表现出色。

ABSTRACT

Music tag words that describe music audio by text have different levels of abstraction. Taking this issue into account, we propose a music classification approach that aggregates multi-level and multi-scale features using pre-trained feature extractors. In particular, the feature extractors are trained in sample-level deep convolutional neural networks using raw waveforms. We show that this approach achieves state-of-the-art results on several music classification datasets.

研究动机与目标

• 为应对音乐标签中多样化抽象层级（如流派、情绪、乐器）的挑战，实现层次化特征学习。
• 通过结合多尺度与多层级特征聚合及原始波形输入，提升音乐自动打标与分类性能。
• 探究在原始波形上训练的样本级DCNN是否能有效提取多层次抽象层级下的判别性特征。
• 证明不同标签（如乐器与流派）的最佳特征表征位于网络的不同深度。
• 验证在基准音乐分类数据集上，对预训练样本级DCNN各层特征进行聚合的有效性。

提出的方法

• 该方法使用处理原始音频波形的预训练样本级DCNN，其卷积滤波器对对数频率尺度敏感，感受野小至2–3个样本。
• 从样本级DCNN的顶层三个隐藏层提取多层级特征，以捕捉局部（细粒度）与全局（上下文）音频模式。
• 通过组合不同尺寸感受野的特征实现多尺度特征聚合，增强对音频内容变化的鲁棒性。
• 将不同层级的特征拼接后输入全连接网络，实现端到端的歌曲级标签预测。
• DCNN在Million Song Dataset（MSD）上进行预训练，并在其他数据集上进行微调，利用迁移学习提升泛化能力。
• 采用t-SNE可视化分析特定标签（如Piano、Techno）在各层学习特征的聚类行为，揭示了各层对标签类型的特异性敏感性。

实验结果

研究问题

• RQ1 与传统的基于频谱图的模型相比，使用样本级DCNN进行多层级、多尺度特征聚合是否能提升音乐分类性能？
• RQ2 不同类型的音乐标签（如乐器与流派）是否从深度网络中不同深度提取的特征中获益？
• RQ3 在结合层次化特征聚合时，原始波形输入是否比梅尔频谱图更有效？
• RQ4 将来自多个层级和尺度的特征进行组合，是否能在多样化的音乐分类基准上带来一致的性能提升？
• RQ5 样本级DCNN学习到的表征是否能捕捉音乐标签之间的有意义语义差异，如通过特征聚类所体现？

主要发现

• 所提方法在GTZAN数据集上达到0.821的准确率，优于先前方法，显著超越基线模型。
• 在MTAT数据集上，使用$3^9$模型的-3层特征，AUC达到0.8976，展现出强大的音乐自动打标性能。
• 将来自多个层级（如-3、-2、-1）和多个尺度（如$2^{13}$、$3^9$、$5^6$）的特征组合后，在MTAT上取得0.9064的最高AUC，证明了多尺度聚合的有效性。
• t-SNE可视化显示，带有'Piano'标签的歌曲在较低层（-3层）聚类更紧密，而带有'Techno'标签的歌曲在较高层（-1层）聚类更紧密，证实了对标签类型的层级特异性敏感性。
• 该方法在GTZAN上实现了最先进性能，在MTAT和TAGTRAUM上也取得了具有竞争力的结果，验证了基于原始波形的多层级特征聚合的有效性。
• 使用样本级DCNN处理原始波形，实现了有效的层次化表征学习，其特征滤波器对对数频率尺度敏感，表现出类似梅尔频谱图的特性。