[论文解读] A Framework for Contrastive and Generative Learning of Audio Representations.

Prateek Verma, Julius O. Smith|arXiv (Cornell University)|Oct 22, 2020

Music and Audio Processing参考文献 17被引用 6

一句话总结

该论文提出了一种自监督框架，结合对比学习与生成学习，用于无任何标注数据的音频表征学习。它通过音频增强技术将相似视图对比嵌入，并使用变换器模型在离散音频标记上进行生成建模，其在下游任务上的性能接近完全监督方法。

ABSTRACT

In this paper, we present a framework for contrastive learning for audio representations, in a self supervised frame work without access to any ground truth labels. The core idea in self supervised contrastive learning is to map an audio signal and its various augmented versions (representative of salient aspects of audio like pitch, timbre etc.) to a space where they are close together, and are separated from other different signals. In addition we also explore generative models based on state of the art transformer based architectures for learning latent spaces for audio signals, without access to any labels. Here, we map audio signals on a smaller scale to discrete dictionary elements and train transformers to predict the next dictionary element. We only use data as a method of supervision, bypassing the need of labels needed to act as a supervision for training the deep neural networks. We then use a linear classifier head in order to evaluate the performance of our models, for both self supervised contrastive and generative transformer based representations that are learned. Our system achieves considerable performance, compared to a fully supervised method, with access to ground truth labels to train the neural network model. These representations, with avail-ability of large scale audio data show promise in various tasks for audio understanding tasks

研究动机与目标

• 开发一种无需访问真实标签的自监督框架，用于学习音频表征。
• 通过将同一音频的增强视图映射到共享嵌入空间，探索对比学习。
• 研究基于变换器架构在离散音频标记上的生成建模，以学习潜在空间表征。
• 使用线性分类器头在下游任务上评估学习到的表征。
• 证明自监督音频表征可达到完全监督模型的性能。

提出的方法

• 通过创建同一音频样本的多个增强视图，并在嵌入空间中最小化它们之间的对比损失，应用对比学习。
• 采用离散自编码方法将原始音频映射到一组更少的离散标记，形成用于生成建模的码本。
• 训练一个变换器模型以预测离散音频标记序列中的下一个标记，从而学习分层表征。
• 使用线性分类器头在下游分类任务上评估学习到的表征。
• 该框架仅以大规模音频数据作为监督来源，消除了对人工标注标签的需求。
• 该方法结合对比学习与生成学习目标，以提升学习到的音频表征质量。

实验结果

研究问题

• RQ1 对比自监督学习是否能有效在无标签情况下学习到有意义的音频表征？
• RQ2 基于变换器的离散音频标记生成建模能否产生具有竞争力的表征？
• RQ3 对比学习与生成学习目标的结合如何提升表征质量？
• RQ4 自监督音频表征在多大程度上可达到完全监督模型的性能？
• RQ5 大规模音频数据对自监督表征学习有何影响？

主要发现

• 所提出的对比学习框架成功地将同一音频的增强视图映射到嵌入空间中的共享区域，从而提升了表征质量。
• 在离散音频标记上训练的生成变换器模型，能够学习到音频信号中的有意义序列依赖关系。
• 对比学习与生成学习目标的结合，使音频表征更加鲁棒且泛化能力更强。
• 应用于自监督表征的线性分类器头在性能上可与完全监督模型相媲美。
• 该框架展示了仅使用大规模未标注音频数据在音频理解任务中的强大潜力。
• 结果表明，结合大规模数据的自监督学习可显著减少对昂贵标注的依赖。