[论文解读] Music Artist Classification with WaveNet Classifier for Raw Waveform Audio Data

Xulong Zhang, Yongwei Gao+2 more|arXiv (Cornell University)|Apr 9, 2020

Music and Audio Processing参考文献 25被引用 4

一句话总结

该论文提出了一种基于WaveNet的端到端分类器，直接处理原始音频波形以进行音乐人分类，避免了频谱变换。通过利用扩张卷积和下采样进行深层时间建模，该模型在Artist20基准测试中实现了0.854的平均F1分数，显著优于以往的频域方法。

ABSTRACT

Models for music artist classification usually were operated in the frequency domain, in which the input audio samples are processed by the spectral transformation. The WaveNet architecture, originally designed for speech and music generation. In this paper, we propose an end-to-end architecture in the time domain for this task. A WaveNet classifier was introduced which directly models the features from a raw audio waveform. The WaveNet takes the waveform as the input and several downsampling layers are subsequent to discriminate which artist the input belongs to. In addition, the proposed method is applied to singer identification. The model achieving the best performance obtains an average F1 score of 0.854 on benchmark dataset of Artist20, which is a significant improvement over the related works. In order to show the effectiveness of feature learning of the proposed method, the bottleneck layer of the model is visualized.

研究动机与目标

• 开发一种端到端深度学习模型，用于直接基于原始音频波形而非频谱特征进行音乐人分类。
• 评估在时域中进行时间建模在区分音乐人方面的有效性。
• 通过使用原始波形输入，提升现有频域方法的分类性能。
• 通过可视化模型的瓶颈层，分析其学习到的表征。

提出的方法

• WaveNet分类器使用扩张因果卷积来建模原始音频波形中的长程依赖关系。
• 该架构包含多个下采样层，以逐步降低时间分辨率并提取分层特征。
• 输入音频直接作为原始波形馈送，无需频谱变换（例如，不使用梅尔频谱图）。
• 最终的分类头基于最终的特征表示预测艺术家标签。
• 对瓶颈层进行可视化，以解释模型学习到的表征。

实验结果

研究问题

• RQ1 当直接在原始波形上进行训练时，基于WaveNet的模型能否实现更优的音乐人分类性能？
• RQ2 与频域表示相比，时域中的时间建模在音乐人分类任务中有多有效？
• RQ3 该模型从原始音频中学习到了何种判别性特征？
• RQ4 在原始波形上进行端到端训练是否能带来比传统基于频谱特征的方法更好的泛化能力？

主要发现

• 所提出的WaveNet分类器在Artist20基准测试中实现了0.854的平均F1分数，优于以往的最先进方法。
• 该模型在歌手识别任务中表现出色，证实了其在基于人声的分类任务中的泛化能力。
• 瓶颈层的可视化揭示了与艺术家特异性音频特征相对应的有意义且具有判别性的模式。
• 在原始波形上进行端到端训练消除了对手工设计频谱特征的依赖，简化了流程，同时提升了性能。