[论文解读] Efficient Supervised Training of Audio Transformers for Music Representation Learning

Pablo Alonso-Jiménez, Xavier Serra+1 more|arXiv (Cornell University)|Sep 28, 2023

Music and Audio ProcessingComputer Science被引用 3

一句话总结

该论文提出 MAEST，一种用于音乐表征学习的高效、无卷积的音频 Transformer 家族，通过在 330 万条 Discogs 曲目上使用 patchout 正则化进行监督微调进行训练。通过从 ImageNet 或 AudioSet 权重进行初始化，使用更长的输入片段，并从中间 Transformer 块提取特征，MAEST 在音乐标签任务上实现了最先进性能，同时通过在推理时应用 patchout 实现了更快的推理速度，在速度和准确率上均优于卷积基线模型。

ABSTRACT

In this work, we address music representation learning using convolution-free transformers. We build on top of existing spectrogram-based audio transformers such as AST and train our models on a supervised task using patchout training similar to PaSST. In contrast to previous works, we study how specific design decisions affect downstream music tagging tasks instead of focusing on the training task. We assess the impact of initializing the models with different pre-trained weights, using various input audio segment lengths, using learned representations from different blocks and tokens of the transformer for downstream tasks, and applying patchout at inference to speed up feature extraction. We find that 1) initializing the model from ImageNet or AudioSet weights and using longer input segments are beneficial both for the training and downstream tasks, 2) the best representations for the considered downstream tasks are located in the middle blocks of the transformer, and 3) using patchout at inference allows faster processing than our convolutional baselines while maintaining superior performance. The resulting models, MAEST, are publicly available and obtain the best performance among open models in music tagging tasks.

研究动机与目标

• 使用纯注意力 Transformer 替代卷积网络，以改进音乐表征学习。
• 探究架构与训练设计选择如何影响下游音乐标签性能。
• 通过在推理时应用 patchout，实现在不牺牲准确率的前提下加速推理。
• 开发一个公开可用、开源的模型，实现在音乐标签任务中的最先进结果。

提出的方法

• 使用二元交叉熵损失进行监督音乐标签，对频谱图块训练音频 Transformer。
• 在训练期间应用 patchout 正则化，以提升泛化能力并降低计算成本。
• 使用预训练的 ImageNet 或 AudioSet 权重初始化模型，以提升特征质量。
• 从不同 Transformer 块（早期、中期、晚期）提取嵌入，以评估表征质量。
• 在推理时应用 patchout，以在保持性能的同时加速特征提取。
• 使用 ROC-AUC 和 mAP 指标在多个音乐标签基准上评估模型。

实验结果

研究问题

• RQ1 不同的预训练初始化策略（如 ImageNet、AudioSet）如何影响下游音乐标签性能？
• RQ2 在音频 Transformer 的音乐表征学习中，训练和推理的最佳输入片段长度是多少？
• RQ3 哪种 Transformer 块和 token 类型能为音乐标签任务生成最佳表征？
• RQ4 在推理时应用 patchout 是否能显著加快特征提取，同时保持或提升性能？
• RQ5 在开放和封闭设置下，所提模型的性能与现有 SOTA 模型相比如何？

主要发现

• 使用预训练的 AudioSet 或 ImageNet 权重初始化模型，可在下游音乐标签任务中实现更优性能。
• 在训练和推理中使用更长的输入片段（最长达 30 秒）可同时提升训练和下游性能。
• 音乐标签任务的最佳表征来自 Transformer 的中间块，而非最终或最开始的层。
• 在推理时应用 patchout 可使 MAEST 的推理速度达到 EfficientNet-B0 基线的 2–3 倍，同时保持更高的 mAP 分数。
• 在 MTGJ-Genre、MTGJ-Inst 和 MSDc 数据集上，MAEST 是公开可用模型中性能最先进者。
• 在所有评估的下游任务中，该模型在速度和准确率上均优于 EfficientNet-B0 基线。