[论文解读] A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content

Aniruddha Bhattacharya, K. V. Kadambari|arXiv (Cornell University)|Oct 10, 2018

Music and Audio Processing参考文献 18被引用 6

一句话总结

该论文提出MoodNet，一种深度卷积神经网络，通过融合音频（梅尔频谱图）和歌词（100维词嵌入）模态来预测音乐情感。以F1-score为评估指标，MoodNet在MIREX多模态数据集上达到76.34%，在百万首歌曲数据集上达到69.73%，表明多模态融合优于单模态输入，且歌词比音频本身更具信息量。

ABSTRACT

We propose MoodNet - A Deep Convolutional Neural Network based architecture to effectively predict the emotion associated with a piece of music given its audio and lyrical content.We evaluate different architectures consisting of varying number of two-dimensional convolutional and subsampling layers,followed by dense layers.We use Mel-Spectrograms to represent the audio content and word embeddings-specifically 100 dimensional word vectors, to represent the textual content represented by the lyrics.We feed input data from both modalities to our MoodNet architecture.The output from both the modalities are then fused as a fully connected layer and softmax classfier is used to predict the category of emotion.Using F1-score as our metric,our results show excellent performance of MoodNet over the two datasets we experimented on-The MIREX Multimodal dataset and the Million Song Dataset.Our experiments reflect the hypothesis that more complex models perform better with more training data.We also observe that lyrics outperform audio as a better expressed modality and conclude that combining and using features from multiple modalities for prediction tasks result in superior performance in comparison to using a single modality as input.

研究动机与目标

• 开发一种深度学习模型，有效利用音频和歌词内容识别音乐情感。
• 评估音频与歌词的多模态融合是否优于单模态方法在情感识别中的表现。
• 研究音频（梅尔频谱图）与歌词（词嵌入）模态在情感预测中的相对贡献。
• 验证假设：更深的网络架构结合更多训练数据可提升音乐情感识别性能。

提出的方法

• 音频输入以梅尔频谱图表示，输入二维卷积神经网络以提取分层音频特征。
• 歌词内容通过预训练的向量表示转换为100维词嵌入，以捕捉语义含义。
• 两个独立的2D CNN分支分别处理音频和文本输入，通过卷积和池化层学习模态特异性特征。
• 将两个模态的特征图拼接为单一向量，再输入全连接层和Softmax分类器进行情感类别预测。
• 模型使用交叉熵损失进行训练，并通过反向传播优化，F1-score作为主要评估指标。
• 评估不同深度的架构（MoodNet-3、MoodNet-4、MoodNet-5），以分析网络深度对性能的影响。

实验结果

研究问题

• RQ1 与单独使用任一模态相比，结合音频和歌词模态是否能提升音乐情感识别性能？
• RQ2 在音乐情感预测中，音频或歌词哪个模态提供更具区分性的信息？
• RQ3 模型深度（卷积层数量）如何影响音乐情感识别任务的性能？
• RQ4 更多训练数据是否能提升多模态音乐情感识别的性能？

主要发现

• MoodNet在MIREX多模态数据集上取得76.34%的F1得分，优于单模态基线模型。
• 在百万首歌曲数据集上，MoodNet取得69.73%的F1得分，表明其在多样化数据上的强大泛化能力。
• 仅使用歌词的模型在MSD上取得64.79%的F1得分，优于仅使用音频的模型（58.34%），表明歌词更具优势。
• 两种模态的融合在MSD上实现最高性能（69.73% F1得分），证实多模态融合的优势。
• 结果支持假设：在足够训练数据下，更深的网络性能更优，不同架构的性能提升得到验证。
• 研究证实，歌词作为情感识别的模态比音频更具表现力，可能因其语义丰富性。