[论文解读] Equivariant Self-Supervision for Musical Tempo Estimation

Elio Quinton|arXiv (Cornell University)|Sep 3, 2022

Music and Audio Processing被引用 4

一句话总结

该论文提出了一种新颖的自监督学习方法，用于音乐节拍速率估计，利用音频时间拉伸的等变性作为代理任务，从而无需标注数据、负样本采样或正则化。该方法仅使用未标注音频和适度的计算资源，在多个基准测试中实现了与监督方法相当的性能。

ABSTRACT

Self-supervised methods have emerged as a promising avenue for representation learning in the recent years since they alleviate the need for labeled datasets, which are scarce and expensive to acquire. Contrastive methods are a popular choice for self-supervision in the audio domain, and typically provide a learning signal by forcing the model to be invariant to some transformations of the input. These methods, however, require measures such as negative sampling or some form of regularisation to be taken to prevent the model from collapsing on trivial solutions. In this work, instead of invariance, we propose to use equivariance as a self-supervision signal to learn audio tempo representations from unlabelled data. We derive a simple loss function that prevents the network from collapsing on a trivial solution during training, without requiring any form of regularisation or negative sampling. Our experiments show that it is possible to learn meaningful representations for tempo estimation by solely relying on equivariant self-supervision, achieving performance comparable with supervised methods on several benchmarks. As an added benefit, our method only requires moderate compute resources and therefore remains accessible to a wide research community.

研究动机与目标

• 解决节拍速率估计中手动标注音乐数据稀缺且成本高昂的问题。
• 探索超越监督或对比学习方法的音乐表征学习中的自监督方法。
• 开发一种显式通过等变性捕捉节奏结构的自监督框架。
• 消除对负样本采样或正则化以防止模型崩溃的依赖。
• 证明等变自监督可生成鲁棒且可迁移的表征，用于节拍速率估计。

提出的方法

• 采用孪生网络架构，通过已知时间拉伸因子对每个音频样本生成两个视图。
• 模型被训练以生成在时间拉伸下可预测变换的表征，强制实现等变性而非不变性。
• 推导出一种新型损失函数，强制时间拉伸版本表征之间的预期关系，从而在无需正则化的情况下防止平凡解。
• 应用音频增强技术（如音高偏移、掩码）以提高对非节拍相关信号变化的鲁棒性。
• 预训练后，通过线性探针微调在下游节拍速率估计任务上进行优化，将节拍速率视为多分类问题。
• 在多个基准数据集（GTZAN、ACM Mirum、Hainsworth、Giantsteps）上评估该方法，采用零样本和微调协议。

实验结果

研究问题

• RQ1 等变自监督能否在无需任何标注数据的情况下学习有意义的节拍表征？
• RQ2 一种简单且无需正则化的损失函数能否防止自监督学习中音频任务的模型崩溃？
• RQ3 基于等变性的预训练能否生成与监督方法在节拍速率估计上具有竞争力的表征？
• RQ4 所学表征对领域偏移和超参数选择的鲁棒性如何？
• RQ5 该方法能否泛化至低资源音乐流派或其他节奏相关的音乐信息检索任务？

主要发现

• 所提方法在所有测试数据集上的性能与监督基线相当，GTZAN数据集上的Accuracy 1优于所有监督方法。
• 在GTZAN数据集上，该方法实现了0.958的Accuracy 2，与最佳监督基线持平。
• 在不同数据集上性能保持强劲，最优微调设置下Accuracy 1得分分别为0.846（ACM Mirum）、0.700（Hainsworth）和0.952（Giantsteps）。
• 该方法对领域偏移表现出鲁棒性，能良好泛化至预训练期间未见的数据集。
• 使用时间拉伸增强进行微调可提升所有数据集的性能，最优增强强度因数据集而异。
• 仅通过线性头微调即可获得具有竞争力的结果，表明预训练阶段生成了强大且可迁移的表征。