[论文解读] Exploring modality-agnostic representations for music classification

Ho-Hsiang Wu, Magdalena Fuentes+1 more|arXiv (Cornell University)|Jun 2, 2021

Music and Audio Processing参考文献 31被引用 4

一句话总结

本文提出了一种模态无关的音乐分类框架，利用跨模态检索作为自监督的预训练任务，以学习音频与图像的联合嵌入表示。通过在预训练的音频和图像嵌入之间训练一个翻译模型，该方法使单一分类器能够仅使用任一模态进行音乐乐器分类，在标签数据有限的零样本设置下，性能达到最佳单模态系统约70%的水平。

ABSTRACT

Music information is often conveyed or recorded across multiple data modalities including but not limited to audio, images, text and scores. However, music information retrieval research has almost exclusively focused on single modality recognition, requiring development of separate models for each modality. Some multi-modal works require multiple coexisting modalities given to the model as inputs, constraining the use of these models to the few cases where data from all modalities are available. To the best of our knowledge, no existing model has the ability to take inputs from varying modalities, e.g. images or sounds, and classify them into unified music categories. We explore the use of cross-modal retrieval as a pretext task to learn modality-agnostic representations, which can then be used as inputs to classifiers that are independent of modality. We select instrument classification as an example task for our study as both visual and audio components provide relevant semantic information. We train music instrument classifiers that can take both images or sounds as input, and perform comparably to sound-only or image-only classifiers. Furthermore, we explore the case when there is limited labeled data for a given modality, and the impact in performance by using labeled data from other modalities. We are able to achieve almost 70% of best performing system in a zero-shot setting. We provide a detailed analysis of experimental results to understand the potential and limitations of the approach, and discuss future steps towards modality-agnostic classifiers.

研究动机与目标

• 开发一种可在多种模态（音频与图像）间工作的音乐分类系统，且在推理时无需同时使用所有模态。
• 探究自监督的跨模态学习是否能够生成适用于下游分类任务的模态无关表示。
• 在低数据设置下评估模型性能，特别是当某一模态的标签样本有限时。
• 比较用于联合嵌入学习的生成翻译模型与简单降维方法（如PCA）的有效性。
• 分析模型在零样本设置下的泛化能力，即目标模态在训练期间未被显式见过的情形。

提出的方法

• 从在AudioSet上训练的卷积神经网络获取预训练的音频嵌入，从在ImageNet上微调的ResNet-50模型获取图像嵌入。
• 通过对比学习，以自监督方式训练一个跨模态翻译模型，将音频和图像嵌入映射到共享的潜在空间。
• 使用对比损失优化联合嵌入空间，该损失鼓励正样本对（相同乐器）彼此接近，负样本对彼此远离。
• 主成分分析（PCA）被用作翻译模型的替代方案，用于嵌入的降维与对齐。
• 在联合嵌入上使用任一模态的标签数据训练下游分类器，从而实现模态无关的推理。
• 通过跨模态检索和不同数据可用性设置下的乐器分类准确率来评估性能。

实验结果

研究问题

• RQ1 自监督的跨模态检索学习能否生成有效的联合表示，以支持模态无关的音乐分类？
• RQ2 当仅从某一模态获取有限数据时，模态无关分类器的性能与单模态分类器相比如何？
• RQ3 模型在零样本设置下，对未显式训练过的模态的泛化能力有多强？
• RQ4 学习模态间的翻译模型是否优于用于联合表示学习的简单降维方法（如PCA）？
• RQ5 某一模态的标签数据可用性如何影响在联合嵌入上训练的分类器性能？

主要发现

• 在零样本设置下，模态无关分类器的性能达到最佳单模态系统约70%，表明其在模态间具有强大的泛化能力。
• 与基于PCA的对齐方法相比，使用学习到的音频与图像嵌入之间的翻译模型在跨模态检索和分类任务中均表现更优。
• 当某一模态的标签数据稀缺时，通过联合表示学习利用另一模态的标签数据可显著提升性能。
• 即使在推理时仅提供一种模态，模型仍能保持高性能，证实了其模态无关的特性。
• 跨模态检索性能与下游分类准确率高度相关，验证了联合嵌入空间的有效性。
• 该方法能有效实现从高资源模态（如图像）到低资源模态（如音频）的迁移学习，尤其在低数据设置下表现突出。