[论文解读] Feature Learning for Chord Recognition: The Deep Chroma Extractor

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Dec 15, 2016

Music and Audio Processing被引用 59

一句话总结

本文提出了一种基于深度神经网络的色度特征提取器——深度色度提取器（Deep Chroma Extractor），通过利用上下文音频谱，学习生成更清晰、更鲁棒的色度图，以提升和弦识别性能。该模型端到端训练，可抑制噪声和无关的频谱内容，在线性分类器设置下优于手工设计的色度特征，在披头士乐队数据集上实现了97%的和弦识别准确率。

ABSTRACT

We explore frame-level audio feature learning for chord recognition using artificial neural networks. We present the argument that chroma vectors potentially hold enough information to model harmonic content of audio for chord recognition, but that standard chroma extractors compute too noisy features. This leads us to propose a learned chroma feature extractor based on artificial neural networks. It is trained to compute chroma features that encode harmonic information important for chord recognition, while being robust to irrelevant interferences. We achieve this by feeding the network an audio spectrum with context instead of a single frame as input. This way, the network can learn to selectively compensate noise and resolve harmonic ambiguities. We compare the resulting features to hand-crafted ones by using a simple linear frame-wise classifier for chord recognition on various data sets. The results show that the learned feature extractor produces superior chroma vectors for chord recognition.

研究动机与目标

• 解决手工设计色度特征的局限性，这些特征易受音色变化、敲击噪声和泛音影响。
• 开发一种数据驱动方法，学习提取与和弦识别相关的和声内容，同时过滤无关的频谱干扰。
• 通过学习对真实世界音频失真具有鲁棒性的特征，提升和弦识别性能，而无需依赖后处理滤波器。
• 探究深度神经网络是否能够学习到比传统方法更具判别性且时间精度更高的色度特征。

提出的方法

• 模型以包含时间上下文的频谱图（1.5秒的超帧）作为输入，而非单帧，以实现对和声内容的上下文理解。
• 使用深度神经网络学习从输入频谱图到12维色度向量的映射，突出和声相关性。
• 采用判别式训练方式，利用真实和弦标签优化和弦识别性能。
• 使用显著性图解释模型的关注点，揭示对和弦检测最具有信息量的频带和时间上下文。
• 在多个数据集上使用简单线性分类器（逻辑回归）评估该方法，将学习到的特征与标准色度基线进行比较。
• 模型训练目标是最小化和弦识别的分类误差，从而隐式学习抑制非和声成分（如泛音和敲击噪声）

实验结果

研究问题

• RQ1 深度神经网络能否学习到比手工方法更鲁棒的色度特征，以应对泛音和敲击噪声等频谱干扰？
• RQ2 使用上下文音频输入（时间窗口）是否能提升为和弦识别所学习的色度特征质量？
• RQ3 在简单线性分类设置下，所学习的特征在多大程度上优于标准色度特征？
• RQ4 根据学习到的模型，哪些频带和时间上下文对准确和弦识别最为相关？
• RQ5 当与后处理方法（如条件随机场）结合时，所学习的特征提取器能否进一步提升性能？

主要发现

• 深度色度提取器生成的色度图明显比基线方法更清晰，噪声更少，和弦过渡更锐利，这一结果在歌曲《Yesterday》的对比图中已视觉确认。
• 在披头士乐队数据集上，使用学习到的特征的线性分类器在识别大三和弦与小三和弦时达到了97%的和弦识别准确率。
• 显著性分析显示，对和弦识别最相关的频带范围为196 Hz至1319 Hz，对应约三个八度。
• 模型更关注过去音频上下文而非未来上下文，注意力峰值集中在输入窗口中心帧的±0.3秒范围内。
• 即使将输入频带范围限制在110 Hz–3136 Hz，网络性能依然鲁棒，但当进一步缩小至核心频段196 Hz–1319 Hz时性能显著下降，表明外侧频带具有次要重要性。
• 即使不使用复杂后处理滤波，该方法仍优于标准色度特征，表明仅通过更好的特征设计即可显著提升和弦识别性能。