[论文解读] Contrastive Audio-Language Learning for Music

Ilaria Manco, Emmanouil Benetos+2 more|arXiv (Cornell University)|Aug 25, 2022

Music and Audio Processing被引用 9

一句话总结

MusCALL 提出了一种用于音乐的对比音频-语言学习框架，采用双编码器架构，将音乐音频与自然语言描述对齐，实现零样本文本到音频和音频到文本的检索。该方法在检索任务上达到最先进性能，并在零样本流派分类和自动标记任务上表现出良好的泛化能力。

ABSTRACT

As one of the most intuitive interfaces known to humans, natural language has the potential to mediate many tasks that involve human-computer interaction, especially in application-focused fields like Music Information Retrieval. In this work, we explore cross-modal learning in an attempt to bridge audio and language in the music domain. To this end, we propose MusCALL, a framework for Music Contrastive Audio-Language Learning. Our approach consists of a dual-encoder architecture that learns the alignment between pairs of music audio and descriptive sentences, producing multimodal embeddings that can be used for text-to-audio and audio-to-text retrieval out-of-the-box. Thanks to this property, MusCALL can be transferred to virtually any task that can be cast as text-based retrieval. Our experiments show that our method performs significantly better than the baselines at retrieving audio that matches a textual description and, conversely, text that matches an audio query. We also demonstrate that the multimodal alignment capability of our model can be successfully extended to the zero-shot transfer scenario for genre classification and auto-tagging on two public datasets.

研究动机与目标

• 通过实现基于自然语言的音乐搜索，弥合音乐信息检索中的语义鸿沟。
• 开发一种可扩展的双编码器框架，实现音乐音频与描述性文本之间的跨模态对齐。
• 利用文本标签实现零样本迁移，支持下游 MIR 任务（如流派分类和自动标记）的推理。
• 评估数据增强、损失加权和注意力池化对检索性能的影响。
• 在真实场景中证明使用自由格式语言查询进行音乐检索的可行性。

提出的方法

• MusCALL 采用双编码器架构，音频和文本分别通过独立的编码器进行编码，生成共享的多模态嵌入。
• 模型使用对比学习，最大化正样本（匹配）音频-文本对之间的相似性，同时最小化负样本对之间的相似性。
• 通过随机裁剪和音频变换实施数据增强，以提升训练过程中的鲁棒性和泛化能力。
• 引入内容感知的损失加权方案，根据每个负样本与锚点的相似度动态调整其贡献权重。
• 对音频嵌入应用注意力池化，以更好地捕捉音乐信号中的长程结构依赖。
• 通过在推理阶段使用类别标签作为文本提示，无需微调即可实现零样本迁移。

实验结果

研究问题

• RQ1 对比音频-语言学习能否有效对齐音乐音频与自由格式的自然语言描述，以实现跨模态检索？
• RQ2 数据增强和损失加权策略在 MusCALL 中对音频-文本检索性能有何影响？
• RQ3 MusCALL 在多大程度上能泛化至零样本下游任务（如流派分类和自动标记）？
• RQ4 与平均池化相比，注意力池化是否能提升检索性能，尤其是在长音频输入场景下？
• RQ5 MusCALL 是否能在文本到音频和音频到文本检索基准上均优于现有基线方法？

主要发现

• 在完整配置下，MusCALL 在文本到音频检索任务上达到 25.9% 的 mAP，显著优于基线方法。
• 随机裁剪对性能贡献最大，若移除则 mAP 下降 13.7%；而音频增强的影响较小但可测量。
• 与平均池化相比，注意力池化平均提升 4.9% 的检索性能，尤其在长音频输入中表现更优。
• 损失加权改善了正样本对相似度的分布，降低了方差并提高了平均相似度，但对 mAP 的提升不显著。
• MusCALL 在零样本任务上泛化能力出色，在无需微调的情况下于流派分类和自动标记任务中取得具有竞争力的性能。
• 定性分析表明，即使在失败案例中，MusCALL 仍能检索到语义相关的曲目，显示出对语义差异的鲁棒性。