[论文解读] Genre-Agnostic Key Classification With Convolutional Neural Networks

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Aug 16, 2018

Music and Audio Processing参考文献 13被引用 9

一句话总结

本论文提出一种无需针对特定流派调整的通用关键音高分类模型 KeyNet/S，该模型基于改进的卷积神经网络（CNN），通过在短音频片段上进行训练而非完整乐曲，实现更快、更具泛化能力的学习。该模型通过利用分层和声一致性，在多种数据集上均优于特定流派的最先进系统，实现了无需按流派调优的优越泛化性能。

ABSTRACT

We propose modifications to the model structure and training procedure to a recently introduced Convolutional Neural Network for musical key classification. These modifications enable the network to learn a genre-independent model that performs better than models trained for specific music styles, which has not been the case in existing work. We analyse this generalisation capability on three datasets comprising distinct genres. We then evaluate the model on a number of unseen data sets, and show its superior performance compared to the state of the art. Finally, we investigate the model's performance on short excerpts of audio. From these experiments, we conclude that models need to consider the harmonic coherence of the whole piece when classifying the local key of short segments of audio.

研究动机与目标

• 开发一种无需针对特定音乐流派进行调优即可在各类音乐流派中有效泛化的关键音高分类模型。
• 解决现有模型因关键模板中存在调式与流派偏差，导致在未见流派上表现不佳的局限性。
• 通过用随机短片段替代完整乐曲进行训练，提升训练效率并增强泛化能力。
• 探究在完整乐曲上建模和声一致性是否能提升短音频片段中的关键音高检测性能。

提出的方法

• 通过将全连接层替换为全卷积结构，对 KeyNet 架构进行改进，以减少过拟合和参数量。
• 在随机 20 秒的频谱图片段上训练模型，而非完整乐曲，以加速训练并提升泛化能力。
• 使用随机梯度下降配合分类交叉熵损失函数，最小化预测结果与真实关键音高标签之间的误差。
• 在每个训练周期中通过随机裁剪频谱图实施数据增强，以提升训练数据多样性并减少过拟合。
• 推理阶段处理完整乐曲，以保持准确性，尽管训练阶段仅使用片段。
• 通过在电子乐、流行/摇滚乐和古典乐的复合数据集上的验证分数，优化超参数（如 24 个特征图、0.1 的 dropout 比例）。

实验结果

研究问题

• RQ1 在未见流派上无需微调的情况下，深度学习模型能否在多种音乐流派中实现有效泛化？
• RQ2 与完整乐曲训练相比，在短音频片段上训练是否能提升泛化能力并减少过拟合？
• RQ3 该模型在短音频片段上的性能与针对特定流派调优的最先进系统相比如何？
• RQ4 在整个乐曲范围内建模和声一致性在多大程度上影响短片段中的准确关键音高分类？
• RQ5 为何在不同长度的短片段中会出现性能差异，特别是在截取长度不一的数据集中？

主要发现

• 所提出的模型在所有测试数据集（包括 Billboard、GiantSteps、Isophonics 和 KeyFinder）上均优于特定流派的最先进系统，F1-weighted 分数表现更优。
• 在 Billboard 数据集上，模型取得了 75.2 的加权 F1 分数，超过最佳对比系统 CK1 的 72.8。
• 该模型在各类流派中均表现出良好泛化能力：在电子乐、流行/摇滚乐和古典乐中无需重新训练或调制模式平衡即可保持稳定表现。
• 较短的片段（如 <51 秒）显著更易被误分类，表明关键音高检测需要足够的和声上下文。
• 该模型在摇滚乐上的表现高度依赖于片段长度：正确分类的片段中位长度为 131 秒，而错误分类的片段中位长度仅为 51 秒。
• 结果表明，未来模型必须考虑整个乐曲的分层和声一致性，才能在短片段中有效检测关键音高变化。