[论文解读] A Data-driven Approach to Mid-level Perceptual Musical Feature Modeling

Anna Aljanaki, Mohammad Soleymani|arXiv (Cornell University)|Jun 13, 2018

Music and Audio Processing参考文献 19被引用 9

一句话总结

本文提出一种数据驱动的方法，通过在由音乐家标注的5,000首歌曲新数据集上训练深度神经网络，来建模中层感知音乐特征（如旋律性、演奏方式和不协和性）。采用基于Inception的模型进行迁移学习，并在频谱图上微调，该方法在大多数特征上实现了高预测准确率，尤其在旋律性、演奏方式和不协和性方面表现优异，证明其在音乐情感识别任务中优于手工设计的特征。

ABSTRACT

Musical features and descriptors could be coarsely divided into three levels of complexity. The bottom level contains the basic building blocks of music, e.g., chords, beats and timbre. The middle level contains concepts that emerge from combining the basic blocks: tonal and rhythmic stability, harmonic and rhythmic complexity, etc. High-level descriptors (genre, mood, expressive style) are usually modeled using the lower level ones. The features belonging to the middle level can both improve automatic recognition of high-level descriptors, and provide new music retrieval possibilities. Mid-level features are subjective and usually lack clear definitions. However, they are very important for human perception of music, and on some of them people can reach high agreement, even though defining them and therefore, designing a hand-crafted feature extractor for them can be difficult. In this paper, we derive the mid-level descriptors from data. We collect and release a dataset\footnote{https://osf.io/5aupt/} of 5000 songs annotated by musicians with seven mid-level descriptors, namely, melodiousness, tonal and rhythmic stability, modality, rhythmic complexity, dissonance and articulation. We then compare several approaches to predicting these descriptors from spectrograms using deep-learning. We also demonstrate the usefulness of these mid-level features using music emotion recognition as an application.

研究动机与目标

• 解决主观且基于感知的中层音乐特征建模挑战，这些特征缺乏明确的定义或算法实现。
• 收集并发布一个包含5,000首歌曲的新数据集，由音乐家对七种中层感知特征（包括旋律性和音调稳定性）进行标注。
• 评估基于听者评分训练的深度学习模型是否能在预测感知音乐特征方面优于传统手工设计的特征提取器。
• 证明这些中层特征在提升高层音乐理解任务（如音乐情感识别）中的实用性。

提出的方法

• 通过训练有素的音乐家使用感知对比问题，对5,000首歌曲的大规模数据集进行了七种中层特征的标注。
• 以频谱图为深度神经网络的输入，并从ImageNet预训练的Inception网络进行迁移学习。
• 首先在冻结特征提取层的情况下进行微调，随后通过解冻并以低学习率联合训练所有层，进一步优化模型。
• 使用预测值与人工标注值之间的皮尔逊相关系数评估性能，并通过消融研究比较不同架构和训练策略。
• 将MIRToolbox和Essentia中的手工特征与学习到的表征进行比较，以评估其预测能力。

实验结果

研究问题

• RQ1 是否可以使用数据驱动的深度学习方法有效建模中层感知音乐特征，而非依赖手工设计的算法？
• RQ2 在听者评分上训练的深度神经网络在预测如演奏方式和不协和性等感知特征方面表现如何？
• RQ3 学习到的表征在预测人工标注的中层描述符方面，相比传统MIR特征能多大程度上实现性能提升？
• RQ4 中层特征的人工标注可靠性如何？哪些特征表现出最高的评分者间一致性？

主要发现

• 数据驱动的深度学习方法在所有七个中层特征上均实现了最高的预测准确率，优于手工设计的特征提取器。
• 旋律性、演奏方式和不协和性表现出强劲的预测性能，皮尔逊相关系数超过0.7，表明模型具有高度可靠性。
• 节奏复杂性和音调稳定性的人工标注评分者间一致性较低（Cronbach’s α = 0.27 和 0.44），表明其感知上存在固有模糊性或需更精细的定义。
• 在初始特征提取后对整个网络进行微调，性能优于固定特征提取，证实了端到端适应的优势。
• 现有MIR特征（如粗糙度（不协和性）和脉冲清晰度（节奏稳定性））与感知评分的相关性中等（r ≈ 0.5–0.6），但未能捕捉到完整的感知方差。
• 本研究证明，中层特征可通过提供更丰富的感知上下文，增强高层音乐理解任务（如情感识别）的性能。