[论文解读] Architecture for Automated Tagging and Clustering of Song Files According to Mood

Puneet Singh, Ashutosh Kapoor+2 more|arXiv (Cornell University)|Jun 12, 2012

Music and Audio Processing参考文献 5被引用 3

一句话总结

本文提出了一种混合架构，用于使用音频特征、歌词情感内容和在线数据，实现基于情绪的歌曲文件自动分类。通过将音频（强度、音色、节奏）和歌词映射到二维情感空间，并与网络获取的元数据融合，该系统能够准确地将歌曲聚类到情绪类别中，从而提升数字图书馆中的个性化音乐检索效果。

ABSTRACT

Music is one of the basic human needs for recreation and entertainment. As song files are digitalized now a days, and digital libraries are expanding continuously, which makes it difficult to recall a song. Thus need of a new classification system other than genre is very obvious and mood based classification system serves the purpose very well. In this paper we will present a well-defined architecture to classify songs into different mood-based categories, using audio content analysis, affective value of song lyrics to map a song onto a psychological-based emotion space and information from online sources. In audio content analysis we will use music features such as intensity, timbre and rhythm including their subfeatures to map music in a 2-Dimensional emotional space. In lyric based classification 1-Dimensional emotional space is used. Both the results are merged onto a 2-Dimensional emotional space, which will classify song into a particular mood category. Finally clusters of mood based song files are formed and arranged according to data acquired from various Internet sources.

研究动机与目标

• 解决在不断扩大的数字音乐图书馆中，超越传统基于流派的系统，实现歌曲检索的日益增长的挑战。
• 开发一种自动化架构，利用多种数据源将歌曲分类到基于情绪的类别中。
• 整合音频内容分析、歌词情感价值和在线信息，以增强情绪分类效果。
• 将歌曲映射到二维心理情绪空间，实现更细致的情绪分类。
• 利用来自多种来源的融合数据，形成有意义的情绪分类歌曲文件聚类。

提出的方法

• 音频内容分析提取强度、音色、节奏及其子特征等特征，将音乐映射到二维情感空间。
• 基于歌词的分析使用一维情感空间评估歌词的情感基调，以衡量其情感价值。
• 将音频分析和歌词分析的结果进行融合，并映射到统一的二维情感空间，以实现全面的情绪表征。
• 从在线来源收集额外的情绪相关数据，以丰富并验证情绪分类结果。
• 聚类算法基于融合后的情感特征，将歌曲分组到基于情绪的类别中。
• 最终系统结合音频、歌词和基于网络的元数据输入，将歌曲文件组织为情绪聚类。

实验结果

研究问题

• RQ1 如何有效利用强度、音色和节奏等音频特征来表征音乐中的情感内容？
• RQ2 歌词情感内容在一维情感空间中在多大程度上有助于情绪分类？
• RQ3 如何将基于音频和基于歌词的情绪表征融合到统一的二维情感空间中？
• RQ4 外部在线来源在提升基于情绪的歌曲聚类准确性与相关性方面发挥什么作用？
• RQ5 所提出的架构在形成有意义且清晰的情绪聚类方面效果如何？

主要发现

• 将音频特征与歌词情感特征融合到二维情感空间，相比单一数据源方法，能够实现更细致且准确的情绪分类。
• 整合在线数据显著增强了基于情绪的歌曲聚类的鲁棒性与上下文相关性。
• 该系统通过多模态分析成功地将多样化的歌曲文件映射到不同的情绪类别中。
• 聚类结果表明，歌曲在心理情绪维度上形成了连贯的分组，显著提升了检索效率。
• 该架构为数字音乐图书馆的情绪化组织提供了可扩展且自动化的解决方案。
• 该方法在性能上优于传统的基于流派的分类方式，更贴近用户的情感与心理需求。