[论文解读] Modeling Music Modality with a Key-Class Invariant Pitch Chroma CNN

Anders Elowsson, Anders Friberg|arXiv (Cornell University)|Jun 17, 2019

Music and Audio Processing参考文献 39被引用 5

一句话总结

本文提出了一种关键类不变的卷积神经网络（CNN），利用多音符音高估计算法生成的音高色度激活来预测音乐中的小调/大调调式。通过在多个八度范围内计算色度特征，并在音高维度上应用最大池化操作，该模型实现了对关键类的不变性，在203段音乐片段的数据集上取得了0.71的R²，优于先前的系统和人类听者。

ABSTRACT

This paper presents a convolutional neural network (CNN) that uses input from a polyphonic pitch estimation system to predict perceived minor/major modality in music audio. The pitch activation input is structured to allow the first CNN layer to compute two pitch chromas focused on different octaves. The following layers perform harmony analysis across chroma and time scales. Through max pooling across pitch, the CNN becomes invariant with regards to the key class (i.e., key disregarding mode) of the music. A multilayer perceptron combines the modality activation output with spectral features for the final prediction. The study uses a dataset of 203 excerpts rated by around 20 listeners each, a small challenging data size requiring a carefully designed parameter sharing. With an R2 of about 0.71, the system clearly outperforms previous systems as well as individual human listeners. A final ablation study highlights the importance of using pitch activations processed across longer time scales, and using pooling to facilitate invariance with regards to the key class.

研究动机与目标

• 开发一种深度学习模型，以准确预测音乐音频中的小调/大调调式。
• 设计一种对关键类（即主音音高转调）不变的CNN架构，同时保留调式信息。
• 在小规模且具有挑战性的203段音乐片段数据集上，通过有效的参数共享来处理每段片段由约20位听者评分的数据。
• 将音高色度特征与谱系特征相结合，以提升调式预测性能。
• 验证基于色度的音乐表征中时间与音高尺度不变性的重要性。

提出的方法

• 输入为多音符音高估计算法生成的音高激活数据，其结构设计使得第一层CNN能够计算不同八度范围内的两个音高色度。
• 后续的CNN层在色度和时间两个维度上执行和声分析，以捕捉和弦进行与调式变化模式。
• 通过在音高通道上应用最大池化操作，抑制主音音高的依赖性，从而实现对关键类的不变性。
• 多层感知机将池化后的调式激活与谱系特征结合，用于最终预测。
• 参数共享被精心设计，以应对小样本数据集并防止过拟合。
• 模型采用端到端的回归目标进行训练，以预测连续的调式评分。

实验结果

研究问题

• RQ1 CNN模型能否实现对关键类不变的鲁棒小调/大调调式预测？
• RQ2 在多个八度范围内使用音高色度表征，在捕捉与调式相关和声结构方面有多有效？
• RQ3 对色度特征进行时间维度上的整合，在多大程度上能提升调式预测性能？
• RQ4 在音高维度上进行池化操作，是否能增强在不同主音调之间的泛化能力？
• RQ5 在小规模高质量数据集上，该模型与人类听者及先前系统相比表现如何？

主要发现

• 该模型在测试集上取得了0.71的R²，显著优于先前系统和单个的人类听者。
• 消融实验表明，对更长时序尺度的音高激活处理可提升性能，表明时间上下文的重要性。
• 在音高通道上进行最大池化对于实现关键类不变性至关重要，若移除该操作，性能会显著下降。
• 通过多层感知机将谱系特征与调式激活相结合，进一步提升了预测准确性。
• 该模型在小样本数据集上表现出强大的泛化能力，表明参数共享与架构不变性设计的有效性。
• 结果表明，结合多八度与多尺度处理的色度表征在调式建模中极为有效。