[论文解读] Large-Scale Music Annotation and Retrieval: Learning to Rank in Joint Semantic Spaces

Jason Weston, Samy Bengio+1 more|arXiv (Cornell University)|May 26, 2011

Music and Audio Processing参考文献 19被引用 20

一句话总结

本文提出 Muslse，一种多任务学习框架，可将音频、艺术家姓名和标签联合嵌入到共享的低维语义空间中，用于大规模音乐注释与检索。通过同时优化多个任务的 precision@k，该模型在稀疏数据上表现出优于 one-vs-rest 和余弦相似度基线的性能，且推理速度更快、内存占用更低。

ABSTRACT

Music prediction tasks range from predicting tags given a song or clip of audio, predicting the name of the artist, or predicting related songs given a song, clip, artist name or tag. That is, we are interested in every semantic relationship between the different musical concepts in our database. In realistically sized databases, the number of songs is measured in the hundreds of thousands or more, and the number of artists in the tens of thousands or more, providing a considerable challenge to standard machine learning techniques. In this work, we propose a method that scales to such datasets which attempts to capture the semantic similarities between the database items by modeling audio, artist names, and tags in a single low-dimensional semantic space. This choice of space is learnt by optimizing the set of prediction tasks of interest jointly using multi-task learning. Our method both outperforms baseline methods and, in comparison to them, is faster and consumes less memory. We then demonstrate how our method learns an interpretable model, where the semantic space captures well the similarities of interest.

研究动机与目标

• 解决大规模音乐数据库中的数据稀疏性问题，其中许多艺术家和歌曲的用户标签（如标签、评分）较少。
• 开发一个统一模型，通过单一共享嵌入空间联合解决多样化的音乐检索与注释任务（如艺术家预测、歌曲推荐和标签预测）。
• 通过在相关语义任务间进行多任务学习，提升对低资源（尾部）项目的泛化能力和性能。
• 设计轻量化、可扩展的模型，实现低内存占用和快速推理，以支持在生产级音乐系统中实时部署。

提出的方法

• 学习一个联合的低维嵌入空间（维度 d），其中音频特征、艺术家姓名和标签通过共享模型参数进行映射。
• 通过多任务学习训练模型，使用基于边距的排序目标，同时优化多个任务（如艺术家预测、相似歌曲）的 precision@k。
• 采用最近在视觉领域发展的嵌入算法并适配至音乐领域，其中每个实体（音频、标签、艺术家）在共享空间中表示为向量。
• 优化嵌入参数以最小化排序损失，确保语义上相似的项目（如一首歌及其正确标签）在嵌入空间中彼此接近。
• 使用 MFCC 和 SAI（频谱音频特征）进行特征工程，以表示音频输入，并对标签和艺术家使用稀疏表示。
• 通过低维嵌入（d=100–800）平衡模型容量，以减少在稀疏数据上的过拟合，同时保持高性能。

实验结果

研究问题

• RQ1 一个单一的统一嵌入空间能否有效建模大规模数据集中多样化音乐实体（音频、标签、艺术家）之间的语义关系？
• RQ2 在音乐注释与检索任务之间进行多任务学习，是否相比独立训练每个任务能提升性能？
• RQ3 通过在任务间共享表示，低容量嵌入模型是否能对稀疏数据（如冷门艺术家或无标签歌曲）实现良好泛化？
• RQ4 与标准基线（如 one-vs-rest、余弦相似度）相比，所提方法在 precision@k、推理速度和内存效率方面表现如何？

主要发现

• Muslse 在所有任务上均优于 one-vs-rest 和余弦相似度基线，在 Big-data 数据集上，艺术家预测的 precision@1 达到 0.1110，歌曲预测的 precision@1 达到 0.0940。
• 多任务训练显著提升了所有任务的性能：艺术家预测的 precision@1 从单任务的 0.0958 提升至联合训练的 0.1110，其他任务也观察到类似提升。
• 与 one-vs-rest 相比，该模型在 Big-data 数据集上的推理时间加快 45 倍（0.045s vs. 2.007s），内存占用从 1.85 GB 降低至 27.7 MB。
• 将嵌入维度（d）从 100 提升至 800 时，TagATune 上的性能得到改善，MFCC+SAI 特征下 precision@15 从 d=100 时的 0.153 上升至 d=800 时的 0.181。
• 学习到的嵌入空间捕捉到了有意义的语义结构：语义上相似的实体（如 'synth' 和 'electronic' 标签）在向量空间中彼此靠近。
• 与仅使用 MFCC 相比，使用 MFCC+SAI 特征在 d=800 时使 precision@15 提升 28%（从 0.153 提升至 0.181），表明更丰富的音频特征可提升表示质量。