[论文解读] Evaluating Music Recommender Systems for Groups

J. Zs. Mezei, Carsten Eickhoff|arXiv (Cornell University)|Jul 31, 2017

Music and Audio Processing参考文献 13被引用 3

一句话总结

本论文提出了一项新颖的用户研究，并公开发布了一个基准数据集，通过在78名参与者组成的三人小组中进行受控实验，捕捉真实的群体音乐偏好。该研究评估了多种音乐群体推荐技术，包括专门设计的算法和通用机器学习模型，发现对个体投票进行无加权平均仍是群体推荐中最稳健且高效的方法。

ABSTRACT

Recommendation to groups of users is a challenging and currently only passingly studied task. Especially the evaluation aspect often appears ad-hoc and instead of truly evaluating on groups of users, synthesizes groups by merging individual preferences. In this paper, we present a user study, recording the individual and shared preferences of actual groups of participants, resulting in a robust, standardized evaluation benchmark. Using this benchmarking dataset, that we share with the research community, we compare the respective performance of a wide range of music group recommendation techniques proposed in the

研究动机与目标

• 为解决群体音乐推荐系统缺乏标准化、真实世界评估基准的问题。
• 通过观察实际群体在共同音乐聆听过程中的互动，收集真实可靠的群体偏好数据。
• 在共享的标准化数据集上，评估广泛的现有群体推荐技术与通用机器学习模型。
• 提供一个公开可获取的基准数据集，以支持未来群体推荐系统可复现且严谨的评估。

提出的方法

• 开展了一项监督式用户研究，共26组三人参与者，结合音乐聆听与评分活动（如Uno纸牌游戏）进行社交互动。
• 通过基于智能手机的网页应用程序，使用五级李克特量表记录个体与群体评分。
• 通过包含两个选项的10个问题问卷收集人口统计信息（年龄、性别）和人格特质数据。
• 将个体喜爱的歌曲聚合为群体播放列表，每首歌曲播放1.5分钟后渐弱，以应对曲目长度差异。
• 基于波形分析（Sprague et al., 2008），使用Marsyas库计算歌曲的声学相似度。
• 利用个体评分、人口统计信息、歌曲元数据和相似度分数等特征，训练并评估多种模型，包括线性回归、神经网络和集成方法。

实验结果

研究问题

• RQ1 当在真实群体偏好数据上进行评估时，不同群体推荐技术的表现如何？与在合成群体上的表现相比有何差异？
• RQ2 专门设计的群体推荐算法与通用机器学习模型在预测群体评分方面的相对表现如何？
• RQ3 在群体推荐背景下，随着训练数据量的增加，模型性能如何变化？
• RQ4 个体用户属性和评分方差在多大程度上影响群体偏好预测的准确性？

主要发现

• 个体平均评分为3.36（标准差1.27），而群体评分为3.30（标准差1.08），表明群体在极端评分上更为保守。
• 无加权平均个体投票成为最稳健且始终有效的推荐方法，在各项指标上均优于或匹配专门设计的算法。
• 在线性回归模型中，均方误差（MSE）最低，为0.599，归一化折损累计增益（nDCG）最高，达0.942，优于所有其他评估模型。
• 神经网络和集成方法（如随机森林回归）表现具有竞争力，MSE介于0.612至0.686之间，nDCG得分高于0.90。
• 机器学习模型（如线性回归、神经网络）在训练数据增加时表现出更系统化的性能提升，而专用群体推荐算法的增益则较不明显。
• 该数据集包含1068条个体评分和356条群体评分，覆盖100首歌曲，其中17首未被任何参与者选择，数据特征包括流派、艺术家、专辑和声学相似度。