[论文解读] CLAR: Contrastive Learning of Auditory Representations

Haider Al-Tahan, Yalda Mohsenzadeh|arXiv (Cornell University)|Oct 19, 2020

Music and Audio Processing参考文献 38被引用 15

一句话总结

CLAR 提出了一种用于音频表征的对比自监督学习框架，结合了数据增强、时频特征以及联合监督-对比学习训练。在 Speech Commands-10 数据集上，其 top-1 准确率达到 96.1%，比监督学习高出 1%，比 SimCLR 高出 11.3%，并且在标签数据有限的情况下收敛更快、泛化能力更强。

ABSTRACT

Learning rich visual representations using contrastive self-supervised learning has been extremely successful. However, it is still a major question whether we could use a similar approach to learn superior auditory representations. In this paper, we expand on prior work (SimCLR) to learn better auditory representations. We (1) introduce various data augmentations suitable for auditory data and evaluate their impact on predictive performance, (2) show that training with time-frequency audio features substantially improves the quality of the learned representations compared to raw signals, and (3) demonstrate that training with both supervised and contrastive losses simultaneously improves the learned representations compared to self-supervised pre-training followed by supervised fine-tuning. We illustrate that by combining all these methods and with substantially less labeled data, our framework (CLAR) achieves significant improvement on prediction performance compared to supervised approach. Moreover, compared to self-supervised approach, our framework converges faster with significantly better representations.

研究动机与目标

• 探究对比自监督学习（在视觉领域表现成功）是否可有效适配以学习高质量的听觉表征。
• 评估各种音频特定数据增强方法对对比学习中表征质量的影响。
• 确定使用时频特征而非原始音频是否能提升对比学习中的表征质量。
• 探索联合训练监督损失与对比损失是否能提升表征质量并加快收敛速度。
• 证明 CLAR 在显著减少标签数据量的情况下，性能优于监督和自监督基线方法。

提出的方法

• 将 SimCLR 风格的对比学习应用于音频，通过 NT-Xent 损失最大化同一音频样本不同增强视图之间的一致性。
• 引入并评估六种音频特定的数据增强方法：时间偏移、时间掩码、频率掩码、时间拉伸、淡入/淡出和音高偏移。
• 使用时频特征（如梅尔频谱图）作为输入，而非原始波形，以提升表征质量。
• 在训练过程中联合使用监督学习和对比学习目标，同时优化交叉熵（CE）损失和归一化温度缩放对比（NT-Xent）损失。
• 采用 ResNet18 编码器搭配线性评估头，评估时冻结编码器，仅微调头部在有标签数据上。
• 训练模型 1000 个周期，采用早停策略，并每 10 个周期评估一次性能，以追踪收敛速度和最终准确率。

实验结果

研究问题

• RQ1 哪些音频数据增强方法在对比学习中对听觉表征学习最有效？
• RQ2 与使用原始音频信号相比，使用时频特征是否能提升对比表征的质量？
• RQ3 与顺序预训练和微调相比，联合训练监督损失与对比损失是否能提升表征质量并加快收敛速度？
• RQ4 在仅使用 1% 标签数据的低样本学习设置下，CLAR 表现如何？
• RQ5 与自监督（SimCLR）和监督基线相比，CLAR 是否实现更快收敛和更优最终性能？

主要发现

• CLAR 在 Speech Commands-10 数据集上达到 96.1% 的 top-1 准确率，相比监督学习相对提升 1%，相比 SimCLR 提升 11.3%。
• 对于原始音频，表现最佳的增强组合为时间掩码和时间拉伸；对于时频特征，时间掩码和时间拉伸也取得了最高性能。
• 与原始音频相比，使用时频特征显著提升了表征质量，在 SC-10 上结合最优增强方法后准确率提升了 20.5%。
• CLAR 的收敛速度优于自监督的 SimCLR 基线，即使在标签数据有限的情况下，也表现出更优的训练速度和表征质量。
• 仅使用 1% 标签数据时，CLAR 达到 77.9% 的 top-1 准确率，优于自监督方法，且性能下降仅 19%（相比 100% 标签数据），而监督学习的性能下降达 66%。
• 监督与对比目标的联合训练可实现更好的泛化能力和更快收敛，因为模型先优化交叉熵损失，随后逐步改善对比损失。