[论文解读] AudioCLIP: Extending CLIP to Image, Text and Audio

Andrey Guzhov, Federico Raue+2 more|arXiv (Cornell University)|Jun 24, 2021

Music and Audio Processing被引用 4

一句话总结

本文提出 AudioCLIP，作为 CLIP 模型的三模态扩展，将基于 ESResNeXt 的音频编码器与 CLIP 的视觉-文本对比学习框架相结合，实现了零样本音频分类和跨模态查询。该模型在 UrbanSound8K 上达到 90.07% 的最先进准确率，在 ESC-50 上达到 97.15%，并分别建立了 68.78% 和 69.40% 的新零样本基线。

ABSTRACT

In the past, the rapidly evolving field of sound classification greatly benefited from the application of methods from other domains. Today, we observe the trend to fuse domain-specific tasks and approaches together, which provides the community with new outstanding models. In this work, we present an extension of the CLIP model that handles audio in addition to text and images. Our proposed model incorporates the ESResNeXt audio-model into the CLIP framework using the AudioSet dataset. Such a combination enables the proposed model to perform bimodal and unimodal classification and querying, while keeping CLIP's ability to generalize to unseen datasets in a zero-shot inference fashion. AudioCLIP achieves new state-of-the-art results in the Environmental Sound Classification (ESC) task, out-performing other approaches by reaching accuracies of 90.07% on the UrbanSound8K and 97.15% on the ESC-50 datasets. Further it sets new baselines in the zero-shot ESC-task on the same datasets (68.78% and 69.40%, respectively). Finally, we also assess the cross-modal querying performance of the proposed model as well as the influence of full and partial training on the results. For the sake of reproducibility, our code is published.

研究动机与目标

• 将 CLIP 框架扩展为包含音频作为第三模态，实现文本、图像和音频的联合表征学习。
• 通过在 AudioSet 数据集上使用对比学习，实现音频分类的零样本泛化能力。
• 在零样本和微调设置下，评估文本、图像与音频之间的跨模态查询能力。
• 研究完整训练与部分训练对分类和查询任务性能的影响。
• 在环境声音分类任务中建立新的最先进结果，并提供可复现的开源实现。

提出的方法

• 将基于 ESResNeXt 的音频模型作为音频编码器集成到 CLIP 框架中，替代原始视觉编码器以处理音频输入。
• 使用 AudioSet 数据集上的对比学习进行模型训练，对齐音频嵌入与对应文本和图像嵌入。
• 采用两阶段训练策略：首先，使用冻结的文本和图像编码器对音频头进行对比损失预训练；其次，进行端到端的完整微调。
• 使用双分支对比损失，最大化匹配的文本-音频、图像-音频和文本-图像对之间的相似性，同时最小化不匹配对之间的相似性。
• 通过计算查询嵌入（文本、图像或音频）与类别特定嵌入向量之间的余弦相似度，支持零样本推理。
• 使用 P@1、R@1 和 mAP 等指标，在 ImageNet、AudioSet、UrbanSound8K 和 ESC-50 等多个数据集上评估跨模态检索性能。

实验结果

研究问题

• RQ1 能否在不损害视觉和语言性能的前提下，成功将 CLIP 这类对比学习框架扩展为包含音频作为第三模态？
• RQ2 音频、文本和图像编码器的联合训练在多大程度上提升了环境声音分类中的零样本泛化能力？
• RQ3 与完整端到端微调相比，仅训练音频头（部分训练）在分类和跨模态查询性能方面表现如何？
• RQ4 AudioSet 数据集对模型在下游音频基准（如 UrbanSound8K 和 ESC-50）上泛化能力的影响如何？
• RQ5 AudioCLIP 是否能在零样本和微调设置下，有效实现文本、图像与音频之间的跨模态查询？

主要发现

• 在完整训练下，AudioCLIP 在 UrbanSound8K 数据集上达到 90.07% 的新最先进准确率，在 ESC-50 上达到 97.15%。
• 该模型在 UrbanSound8K 上建立了 68.78% 的新零样本分类基线，在 ESC-50 上为 69.40%，显著优于先前方法。
• 仅对音频头进行部分训练即可在 UrbanSound8K 上达到 89.95% 的准确率，在 ESC-50 上达到 96.65%，表明其具备强大的零样本泛化能力。
• 完整训练显著提升了在 AudioSet、UrbanSound8K 和 ESC-50 上的跨模态查询性能，尤其在音频-文本和图像-音频查询的 mAP 指标上表现突出。
• 在完整训练后，模型在 ImageNet 检索任务上的性能略有下降，表明 ImageNet 与 AudioSet 之间可能存在领域偏移。
• 所提模型在所有文本、图像与音频组合的跨模态检索中表现有效，完整训练后在 ESC-50 上，音频-文本和文本-音频查询的 mAP 分数均超过 70%。