[论文解读] Cross-cultural Mood Perception in Pop Songs and its Alignment with Mood Detection Algorithms

Harin Lee, Frank Höger+3 more|arXiv (Cornell University)|Aug 2, 2021

Neuroscience and Music Perception参考文献 39被引用 5

一句话总结

本研究调查了巴西、韩国和美国在流行音乐中情绪感知的跨文化差异，使用包含360首歌曲的多语言数据集，对九种情绪类别进行评分。尽管在‘梦幻般’和‘恋爱中’等复杂情绪的感知上存在文化差异，但情绪检测算法在所有文化中与人类评分的匹配度均表现极佳，表明其在流行音乐情境下作为客观工具的可靠性。

ABSTRACT

Do people from different cultural backgrounds perceive the mood in music the same way? How closely do human ratings across different cultures approximate automatic mood detection algorithms that are often trained on corpora of predominantly Western popular music? Analyzing 166 participants responses from Brazil, South Korea, and the US, we examined the similarity between the ratings of nine categories of perceived moods in music and estimated their alignment with four popular mood detection algorithms. We created a dataset of 360 recent pop songs drawn from major music charts of the countries and constructed semantically identical mood descriptors across English, Korean, and Portuguese languages. Multiple participants from the three countries rated their familiarity, preference, and perceived moods for a given song. Ratings were highly similar within and across cultures for basic mood attributes such as sad, cheerful, and energetic. However, we found significant cross-cultural differences for more complex characteristics such as dreamy and love. To our surprise, the results of mood detection algorithms were uniformly correlated across human ratings from all three countries and did not show a detectable bias towards any particular culture. Our study thus suggests that the mood detection algorithms can be considered as an objective measure at least within the popular music context.

研究动机与目标

• 检验不同文化背景的人是否对流行音乐中的情绪感知相似。
• 评估自动化情绪检测算法在不同文化群体中与人类评分的一致性程度。
• 调查以西方音乐训练的情绪检测模型在跨文化情境下是否表现出文化偏见。
• 创建一个包含英文、韩文和葡萄牙文语义等效情绪描述词的多语言、跨文化流行歌曲数据集。

提出的方法

• 从巴西、韩国和美国的国家音乐排行榜中收集了360首近期的流行歌曲。
• 开发了在英文、韩文和葡萄牙文中语义相同的音乐情绪描述词，以确保跨语言一致性。
• 从这三个国家共收集了166名参与者的评分，涵盖对歌曲的熟悉度、偏好度以及九种情绪类别。
• 对同一首歌曲数据集应用四种最先进的情绪检测算法，以与人类评分进行对比。
• 使用相关性分析衡量人类评分与算法预测在不同文化中的匹配程度。
• 进行统计检验，以识别在特定情绪类别上，不同文化群体之间感知差异的显著性。

实验结果

研究问题

• RQ1 巴西、韩国和美国的个体是否对流行歌曲的情绪感知相似？
• RQ2 自动化情绪检测算法在不同文化背景下的评分与人类情绪评分的一致性如何？
• RQ3 情绪检测算法在预测中是否对西方文化规范存在偏见？
• RQ4 哪些情绪属性在感知上表现出最显著的跨文化差异？

主要发现

• 人类对‘悲伤’、‘愉快’和‘充满活力’等基本情绪属性的评分在三个文化中表现出高度相似性。
• 在‘梦幻般’和‘恋爱中’等更复杂的情绪描述词上观察到显著的跨文化差异，表明感知存在文化差异。
• 情绪检测算法在所有三个国家中均表现出与人类评分高度一致的相关性，未发现可检测到的文化偏见。
• 无论参与者文化背景如何，算法的预测结果始终与人类评分保持一致。
• 本研究创建的多语言数据集，其语义等效的情绪描述词使有效的跨文化比较成为可能。
• 结果表明，当前的情绪检测算法可作为流行音乐情绪分类中客观且具备文化鲁棒性的工具。