[论文解读] Emotion and Theme Recognition in Music with Frequency-Aware RF-Regularized CNNs
本文提出了一种频率感知、感受野正则化的残差卷积神经网络（FA-ResNet），用于音乐情感与主题识别，通过感受野正则化和频率感知卷积提升频谱图输入下的性能。该方法在MediaEval 2019挑战赛中取得最先进结果，集成模型在测试集上的PR-AUC达到0.1546，显著优于标准ResNet和CRNN等基线模型。
We present CP-JKU submission to MediaEval 2019; a Receptive Field-(RF)-regularized and Frequency-Aware CNN approach for tagging music with emotion/mood labels. We perform an investigation regarding the impact of the RF of the CNNs on their performance on this dataset. We observe that ResNets with smaller receptive fields -- originally adapted for acoustic scene classification -- also perform well in the emotion tagging task. We improve the performance of such architectures using techniques such as Frequency Awareness and Shake-Shake regularization, which were used in previous work on general acoustic recognition tasks.
研究动机与目标
- 探究感受野大小对用于音乐情感标注的CNN性能的影响。
- 通过架构正则化与频率感知卷积，提升在低资源、噪声较大的音乐情感数据集上的性能。
- 将声学场景分类中的技术——特别是感受野正则化与频率感知——应用于音乐情感识别。
- 证明较小的感受野结合频率感知与正则化，可在音乐标注任务中取得更优性能。
- 通过基于频谱图的深度学习方法，在MediaEval 2019情感与主题识别任务中实现最先进结果。
提出的方法
- 模型采用改进的ResNet架构，引入感受野（RF）正则化以限制空间范围，提升在音频频谱图上的泛化能力。
- 引入频率感知（FA）卷积层，以增强频率表征学习，补偿频率维度上感受野减小的影响。
- 应用Shake-Shake正则化以提升训练稳定性和鲁棒性，尤其对小感受野模型有显著益处。
- 采用随机权重平均（SWA）与快照平均技术，整合多个模型权重与预测结果，提升泛化能力与性能。
- 通过集成平均技术，融合多个具有不同架构、初始化方式与感受野的模型预测结果，以提升准确率。
- 输入特征为从44.1 kHz音频通过STFT生成的256-bin梅尔尺度频谱图，使用75%或25%的窗重叠。
实验结果
研究问题
- RQ1减小CNN的感受野是否能提升其在音乐情感标注任务中的性能？
- RQ2频率感知卷积能否缓解音频分类中因感受野减小导致的性能下降？
- RQ3如Shake-Shake与SWA等正则化技术如何影响音乐情感识别中的模型泛化能力？
- RQ4感受野正则化与频率感知CNN是否能在MTG-Jamendo数据集上超越标准ResNet与CRNN？
- RQ5模型集成与多模型平均在该任务中的性能贡献如何？
主要发现
- 所提出的FA-ResNet结合感受野正则化，在MediaEval 2019挑战赛中取得测试PR-AUC 0.1546，位列前三名提交结果。
- 较小的感受野优于较大的感受野，验证了先前声学场景分类研究的发现。
- 频率感知卷积显著提升了感受野受限模型的性能。
- Shake-Shake正则化增强了模型稳定性与性能，尽管在原始声学场景任务中表现欠佳。
- 通过整合多个具有不同初始化与训练快照的FA-ResNet模型所构建的集成模型，实现了最高性能。
- 即使单个感受野正则化ResNet（CP_ResNet）也取得了0.1325的测试PR-AUC，优于标准ResNet-34（0.1021）与CRNN（0.1172）。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。