[论文解读] Evaluation of CNN-based Automatic Music Tagging Models

Minz Won, Andrés Ferraro+2 more|arXiv (Cornell University)|Jun 1, 2020

Music and Audio Processing参考文献 16被引用 46

一句话总结

本论文对最先进的基于 CNN 的音乐标签模型在三个数据集 MTAT、MSD、MTG-Jamendo 上进行一致的评估，并评估对输入扰动的鲁棒性，同时提供预训练的 PyTorch 实现和模型以便复现。

ABSTRACT

Recent advances in deep learning accelerated the development of content-based automatic music tagging systems. Music information retrieval (MIR) researchers proposed various architecture designs, mainly based on convolutional neural networks (CNNs), that achieve state-of-the-art results in this multi-label binary classification task. However, due to the differences in experimental setups followed by researchers, such as using different dataset splits and software versions for evaluation, it is difficult to compare the proposed architectures directly with each other. To facilitate further research, in this paper we conduct a consistent evaluation of different music tagging models on three datasets (MagnaTagATune, Million Song Dataset, and MTG-Jamendo) and provide reference results using common evaluation metrics (ROC-AUC and PR-AUC). Furthermore, all the models are evaluated with perturbed inputs to investigate the generalization capabilities concerning time stretch, pitch shift, dynamic range compression, and addition of white noise. For reproducibility, we provide the PyTorch implementations with the pre-trained models.

研究动机与目标

• 动机：由于以往工作在实验设置上存在分歧，因此需要可比的评估。
• 在统一协议下，对多种基于 CNN 的音乐标签模型进行统一评估。
• 评估模型对时间伸缩、音高移位、动态范围压缩和白噪声的鲁棒性。
• 提供开源的 PyTorch 实现和预训练模型以实现可重复性。

提出的方法

• 回顾并实现多种用于音乐标签的基于 CNN 的架构（FCN、MusicNN、Sample-level CNN、CRNN、Self-attention、Harmonic CNN、Short-chunk CNN及其变体）。
• 在不同数据集上标准化输入表示（使用一致的 FFT 和重叠的 Mel-spectrogram）及训练设置。
• 使用宏平均 ROC-AUC 和 PR-AUC 评估模型，按标签取平均，对于基于分块的模型采用 16-chunk 聚合。
• 通过对测试音频进行音高移位、时间伸缩、动态范围压缩和白噪声的 MUDA 基变形来研究鲁棒性。
• 提供预训练模型和 PyTorch 实现以促进可重复性。

实验结果

研究问题

• RQ1 在常见基准数据集上，哪些基于 CNN 的架构在自动音乐标签任务上表现最佳？
• RQ2 短片段训练策略在准确性和泛化方面与较长输入架构相比如何？
• RQ3 模型设计选择（例如 3x3 过滤器、池化、谐波表示）对对常见音频扰动的鲁棒性有何影响？
• RQ4 随着数据集规模扩大，受领域知识启发的模型（如 Musicnn、Harmonic CNN）是否仍具优势？
• RQ5 不同的评估协议（歌曲级训练 vs 分块级训练）如何影响跨数据集报告的性能？

主要发现

• Short-chunk CNN 变体在 MTAT、MSD 和 MTG-Jamendo 上始终实现最佳性能。
• Harmonic CNN 和 Short-chunk CNN 在输入扰动下显示出强泛化，在大多数变形类型上优于其他模型。
• 在大多数数据集中，使用短音频片段（3.69s–5s）的模型比使用较长片段（29.1s）的模型具有更好表现。
• 在序列模型中，Self-attention 略优于 CRNN，但都未超越最佳的 short-chunk CNN 或 Harmonic CNN。
• Musicnn 在 MTAT 上具有竞争力，但在更大规模的数据集上可能被其他架构超越。
• 基于 CRC 的和以音乐领域知识驱动的设计在扩展到更大或更具多样性的数据集时可能落后。