[论文解读] COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations

Xavier Favory, Konstantinos Drossos+2 more|Repositori digital de la UPF (Universitat Pompeu Fabra)|Jun 15, 2020

Music and Audio Processing参考文献 42被引用 9

一句话总结

COALA 提出了一种协同对齐自编码器框架，通过对比损失联合学习音频和标签表征，以对齐潜在特征，从而实现语义增强的音频嵌入。该方法在声音事件识别、音乐流派分类和乐器分类任务中表现出色，其嵌入与声学描述符具有强相关性。

ABSTRACT

Audio representation learning based on deep neural networks (DNNs) emerged as an alternative approach to hand-crafted features. For achieving high performance, DNNs often need a large amount of annotated data which can be difficult and costly to obtain. In this paper, we propose a method for learning audio representations, aligning the learned latent representations of audio and associated tags. Aligning is done by maximizing the agreement of the latent representations of audio and tags, using a contrastive loss. The result is an audio embedding model which reflects acoustic and semantic characteristics of sounds. We evaluate the quality of our embedding model, measuring its performance as a feature extractor on three different tasks (namely, sound event recognition, and music genre and musical instrument classification), and investigate what type of characteristics the model captures. Our results are promising, sometimes in par with the state-of-the-art in the considered tasks and the embeddings produced with our method are well correlated with some acoustic descriptors.

研究动机与目标

• 通过利用在线来源的大规模弱标注音频-标签对，解决标注音频数据有限的挑战。
• 开发一种统一的表征学习框架，对齐音频与语义标签嵌入，以捕捉声音的声学与语义特征。
• 构建一种自监督或弱监督方法，减少对昂贵人工标注的依赖，同时在下游任务中保持高性能。
• 通过分析嵌入与既定声学描述符的相关性，探究所学嵌入的可解释性。

提出的方法

• 训练两个独立的自编码器：一个用于音频输入（时频表示），另一个用于多热编码的标签，各自学习潜在表征。
• 应用对比损失以最大化音频及其关联标签的潜在表征之间的一致性，促进语义对齐。
• 通过联合优化重建损失（每种模态内）和对比损失（跨模态）对两个自编码器进行协同正则化。
• 采用温度缩放的对比损失以提升表征的区分能力，超参数通过验证集调优。
• 采用多阶段训练流程，使用 25% 的 dropout 和 SGD 优化，共 200 个周期，批量大小为 128。
• 对数据进行预处理，包括去除停用词、名词单数化和小写转换，以提升标签向量的语义一致性。

实验结果

研究问题

• RQ1 在异质、多模态设置下，对比学习能否有效对齐音频与标签表征？
• RQ2 所学的音频嵌入在多大程度上反映了声音的声学与语义特征？
• RQ3 作为下游音频分类任务的特征提取器，COALA 的性能与最先进模型相比如何？
• RQ4 COALA 学习到的嵌入与标准声学描述符之间的相关性如何？
• RQ5 该模型是否能在无需任务特定微调的情况下泛化到多样化的音频领域？

主要发现

• COALA 在声音事件识别、音乐流派分类和乐器分类任务中表现优异，通常在评估基准上达到或超过最先进结果。
• 模型的嵌入与既定声学描述符表现出强相关性，表明所学表征捕捉了有意义的感知与物理声学特性。
• 对比损失组件显著提升了音频与标签表征之间的对齐程度，相比基线自编码器，生成的嵌入更具语义一致性。
• 该方法在无需任务特定适配的情况下，可在多样化音频任务中良好泛化，表明所学特征具有鲁棒性与可迁移性。
• 在大规模弱标注音频-标签对数据集上进行预训练，可实现有效的特征迁移，即使下游任务标注数据有限亦能保持良好性能。
• 消融实验表明，联合优化重建损失与对比损失相比单独使用任一损失，均能获得更优性能。