[论文解读] Metric Learning vs Classification for Disentangled Music Representation Learning

Jongpil Lee, Nicholas J. Bryan+3 more|arXiv (Cornell University)|Aug 9, 2020

Music and Audio Processing参考文献 32被引用 13

一句话总结

本文提出了一种统一框架，用于在多标签音乐数据上比较度量学习与分类方法在解耦音乐表征学习中的表现。通过整合解耦与归一化，作者表明基于分类的模型在大多数任务中表现优于度量学习，尤其是在自动标签生成任务中达到最先进性能；而度量学习在三元组预测任务中表现更优，这得益于其对相似性三元组的内在设计优势。

ABSTRACT

Deep representation learning offers a powerful paradigm for mapping input data onto an organized embedding space and is useful for many music information retrieval tasks. Two central methods for representation learning include deep metric learning and classification, both having the same goal of learning a representation that can generalize well across tasks. Along with generalization, the emerging concept of disentangled representations is also of great interest, where multiple semantic concepts (e.g., genre, mood, instrumentation) are learned jointly but remain separable in the learned representation space. In this paper we present a single representation learning framework that elucidates the relationship between metric learning, classification, and disentanglement in a holistic manner. For this, we (1) outline past work on the relationship between metric learning and classification, (2) extend this relationship to multi-label data by exploring three different learning approaches and their disentangled versions, and (3) evaluate all models on four tasks (training time, similarity retrieval, auto-tagging, and triplet prediction). We find that classification-based models are generally advantageous for training time, similarity retrieval, and auto-tagging, while deep metric learning exhibits better performance for triplet-prediction. Finally, we show that our proposed approach yields state-of-the-art results for music auto-tagging.

研究动机与目标

• 探究在解耦音乐表征学习背景下，度量学习与分类方法之间的关系。
• 将这种关系拓展至多标签音乐数据，其中多个语义概念（如流派、情绪、乐器）共现。
• 在解耦表征学习的框架下，评估两种范式在下游任务（如检索、自动标签生成、三元组预测）中的表现。
• 确定基于分类的模型在引入归一化与解耦后，是否能在真实世界音乐应用中超越度量学习。

提出的方法

• 提出一个统一框架，将解耦应用于三种学习范式：基于三元组的度量学习、基于原型的度量学习以及基于分类的学习。
• 使用共享编码器网络提取嵌入表示，并为每个语义概念（如流派、情绪）设置独立子空间，以实现解耦。
• 在基于分类的模型中引入归一化层，以提升基于相似性的检索性能。
• 使用多标签监督进行训练，其中每首歌曲关联多个标签，并利用这些标签同时指导度量学习与分类学习目标。
• 采用基于原型的训练策略，通过用类别中心点替代成对比较来加速度量学习。
• 通过四个任务评估模型：训练时间、相似性检索、自动标签生成与三元组预测，并对归一化与解耦进行消融研究。

实验结果

研究问题

• RQ1 在多标签音乐数据上，度量学习与基于分类的表征学习在性能与效率方面如何比较？
• RQ2 解耦表征是否能提升度量学习与基于分类的模型在多样化音乐检索任务中的泛化能力？
• RQ3 在基于分类的模型中引入归一化是否能增强其在基于相似性的检索任务中的表现？
• RQ4 三元组预测是否可作为真实世界音乐检索性能的可靠代理？还是优化该任务的模型在下游任务中表现不佳？
• RQ5 统一框架能否有效比较并凸显度量学习与分类方法在解耦音乐表征学习中的优势？

主要发现

• 引入归一化与解耦的基于分类的模型在音乐自动标签生成任务中达到最先进性能，优于所有先前基线模型。
• 基于分类的模型在训练时间、相似性检索与自动标签生成任务中显著优于基于三元组的度量学习模型。
• 基于三元组的模型在三元组预测任务中表现最佳，尤其在使用轨道正则化时，证实其在该特定基准中的优势。
• 基于原型与基于分类的模型在除三元组预测外的所有任务中表现更优，这归因于其在训练期间使用了完整的多标签监督。
• 定性 t-SNE 可视化结果表明，解耦表征可在特定语义维度（如女性人声、乐器）上实现有意义的聚类，验证了其解耦特性。
• 本研究证明，在特定条件下，基于原型的训练在理论上与经验上等价于基于分类的学习，进一步强化了两种范式之间的联系。