[论文解读] Deep convolutional networks on the pitch spiral for musical instrument recognition

Vincent Lostanlen, Carmine-Emanuele Cella|arXiv (Cornell University)|May 21, 2016

Music and Audio Processing参考文献 13被引用 33

一句话总结

本文提出一种混合深度卷积神经网络，通过在恒定-Q频谱图上应用三种权重共享策略——时间、时频和音高螺旋（谢泼德音高）卷积，实现音乐乐器识别。通过整合这些策略，该模型在具有挑战性的数据集上实现了74.0%的最先进准确率，尤其在稀有乐器类别上取得显著提升，表明在标注数据有限的情况下具备更强的鲁棒性和泛化能力。

ABSTRACT

Musical performance combines a wide range of pitches, nuances, and expressive techniques. Audio-based classification of musical instruments thus requires to build signal representations that are invariant to such transformations. This article investigates the construction of learned convolutional architectures for instrument recognition, given a limited amount of annotated training data. In this context, we benchmark three different weight sharing strategies for deep convolutional networks in the time-frequency domain: temporal kernels; time-frequency kernels; and a linear combination of time-frequency kernels which are one octave apart, akin to a Shepard pitch spiral. We provide an acoustical interpretation of these strategies within the source-filter framework of quasi-harmonic sounds with a fixed spectral envelope, which are archetypal of musical notes. The best classification accuracy is obtained by hybridizing all three convolutional layers into a single deep learning architecture.

研究动机与目标

• 通过在深度学习架构中融入音高领域的先验知识，提升在低数据场景下的音乐乐器识别性能。
• 在保留音色判别能力的同时，应对音乐音符中音高的可变性挑战。
• 探究在卷积网络中混合多种权重共享策略是否能优于单一策略方法，从而提升性能。
• 评估受谢泼德音调错觉启发的音高螺旋卷积是否可作为建模音频表征中音高不变性的有效方式。
• 通过在网络架构中引入结构化的归纳偏置，减少过拟合，尤其提升在低频类乐器上的泛化能力。

提出的方法

• 在恒定-Q频谱图上应用二维卷积层，通过时间与频率维度共享权重，以学习时频特征。
• 针对高频分量（>2 kHz）引入一维时间卷积，以捕捉精细的时间动态。
• 在低频范围（<2 kHz）实现一种音高螺旋（类似谢泼德）的权重共享策略，通过八度等价核建模音高不变性。
• 将一维、二维及音高螺旋三种卷积策略整合为单一混合架构，联合学习多尺度与音高不变特征。
• 在卷积层后对时间与频率维度进行最大池化，随后通过全连接层进行分类。
• 在包含单个乐器音轨的多轨数据集上，使用随机梯度下降与交叉熵损失端到端训练网络。

实验结果

研究问题

• RQ1 能否通过将谢泼德音高螺旋作为权重共享策略，有效在深度卷积网络中学习到音高不变表征？
• RQ2 与单一策略相比，混合使用多种权重共享策略（时间、时频谱、音高螺旋）对分类准确率的影响如何？
• RQ3 与传统的词袋特征或标准CNN相比，所提出的架构是否在稀有乐器类别上展现出更好的泛化能力？
• RQ4 在音高最显著的低频分量中，引入音高螺旋卷积能在多大程度上提升性能？
• RQ5 在数据稀缺条件下，参数更少的混合架构是否能超越更深或更宽的单一架构模型？

主要发现

• 结合一维、二维与音高螺旋卷积的混合架构在测试中达到最高准确率74.0%，显著优于单一策略。
• 仅使用二维卷积层的准确率为69.1%，而包含全部三种策略的混合模型达到74.0%，实现4.9%的绝对提升。
• 音高螺旋策略显著提升了低频、以音高为主导的乐器识别性能，如小提琴（70.9%）和长笛（88.0%），尤其在稀有类别上表现突出。
• 混合模型在各类别间性能方差更小，相较于词袋基线（61.4%）和随机森林（61.8%），对低频类乐器的泛化能力更优。
• 将二维网络的卷积核数量增至48（158k参数）也未能达到混合模型（147k参数）的性能，反驳了性能提升仅源于参数量增加的假设。
• 表现最佳的模型在最稀有的类别（女高音）上相较仅使用二维卷积的基线提升了10.5%的准确率，凸显多策略归纳偏置的优势。