[论文解读] Automatic Instrument Recognition in Polyphonic Music Using Convolutional Neural Networks

Peter Li, Jiyuan Qian+1 more|arXiv (Cornell University)|Nov 17, 2015

Music and Audio Processing参考文献 5被引用 32

一句话总结

本文提出一种端到端卷积神经网络（CNN），直接处理原始音频以实现多音音乐中的自动乐器识别，避免了手工设计的特征。该模型实现了82.74%的准确率，优于使用MFCC与逻辑回归或随机森林的传统方法，表明深度学习可在无需领域特定特征工程的情况下，达到或超越传统音乐信息检索（MIR）方法的性能。

ABSTRACT

Traditional methods to tackle many music information retrieval tasks typically follow a two-step architecture: feature engineering followed by a simple learning algorithm. In these "shallow" architectures, feature engineering and learning are typically disjoint and unrelated. Additionally, feature engineering is difficult, and typically depends on extensive domain expertise. In this paper, we present an application of convolutional neural networks for the task of automatic musical instrument identification. In this model, feature extraction and learning algorithms are trained together in an end-to-end fashion. We show that a convolutional neural network trained on raw audio can achieve performance surpassing traditional methods that rely on hand-crafted features.

研究动机与目标

• 解决传统音乐信息检索（MIR）方法依赖手工设计特征所带来的局限性，这些特征需要大量领域专业知识。
• 探究端到端深度学习模型在直接使用波形输入时，是否能在乐器识别任务中实现更优性能。
• 证明卷积神经网络能够直接从波形中学习有效的音频表征，而无需中间特征工程。
• 将所提出的CNN模型性能与使用MFCC和经典分类器的标准MIR基线方法进行比较。

提出的方法

• 该模型采用三层时间卷积架构，包含ReLU激活函数、最大池化和Dropout正则化。
• 每一层卷积操作通过堆叠运算，对原始音频应用可学习滤波器，提取分层特征。
• 最后两层为全连接层，输出为11个概率分数，表示各乐器的出现概率。
• 网络使用二元交叉熵损失进行训练，以优化11类乐器的多标签分类任务。
• 输入音频通过全局对比归一化进行预处理，以加速训练过程。
• 标签通过计算100ms滑动平均的乐器激活置信度最大值生成，并以0.5为阈值定义片段级别的存在性。

实验结果

研究问题

• RQ1 在乐器识别任务中，基于原始音频训练的卷积神经网络是否能超越依赖手工特征（如MFCC）的传统MIR系统？
• RQ2 当直接在波形上进行训练时，端到端深度学习模型是否能学习到有意义的听觉表征？
• RQ3 在原始音频上训练的CNN模型性能与使用MFCC及标准分类器（如逻辑回归或随机森林）的经典模型相比如何？
• RQ4 第一层卷积层学习到的滤波器是什么类型？是否与已知的听觉滤波器组相似？
• RQ5 该模型是否能在无需显式特征工程的情况下，实现多音音乐中乐器检测的泛化能力？

主要发现

• CNN模型在乐器识别任务上达到82.74%的准确率，优于最佳基线方法（MFCC + 随机森林）的82.13%。
• 模型的微观F1分数为0.7208，宏观F1分数为0.6433，表明在所有乐器类别上均表现出色。
• 第一层卷积层学习到的滤波器具有频率选择性，其形态类似于听觉滤波器组，表明模型学习到了感知相关的特征。
• 模型的精确匹配率（exact match rate）达到25.78%，显著高于MFCC + 随机森林基线的17.53%。
• 对学习滤波器的可视化分析显示其具有平移不变性模式，表明网络学习到了相位无关、感知有意义的表征。
• 结果证实，直接在原始音频上进行端到端训练，可超越依赖领域特定特征工程的传统MIR流程。