[论文解读] ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification

Sara Atito, Muhammad Awais+3 more|arXiv (Cornell University)|Nov 23, 2022

Music and Audio Processing参考文献 56被引用 8

一句话总结

ASiT 提出了一种用于音频表征学习的自监督视觉变换器，通过结合分组掩码建模与教师-学生蒸馏，同时使用全局和局部对比损失，以提升对音频频谱图的理解。该方法在五个音频与语音分类任务中达到最先进性能，优于使用外部数据集或 ImageNet 预训练的方法。

ABSTRACT

Transformers, which were originally developed for natural language processing, have recently generated significant interest in the computer vision and audio communities due to their flexibility in learning long-range relationships. Constrained by the data hungry nature of transformers and the limited amount of labelled data, most transformer-based models for audio tasks are finetuned from ImageNet pretrained models, despite the huge gap between the domain of natural images and audio. This has motivated the research in self-supervised pretraining of audio transformers, which reduces the dependency on large amounts of labeled data and focuses on extracting concise representations of audio spectrograms. In this paper, we propose extbf{L}ocal- extbf{G}lobal extbf{A}udio extbf{S}pectrogram v extbf{I}sion extbf{T}ransformer, namely ASiT, a novel self-supervised learning framework that captures local and global contextual information by employing group masked model learning and self-distillation. We evaluate our pretrained models on both audio and speech classification tasks, including audio event classification, keyword spotting, and speaker identification. We further conduct comprehensive ablation studies, including evaluations of different pretraining strategies. The proposed ASiT framework significantly boosts the performance on all tasks and sets a new state-of-the-art performance in five audio and speech classification tasks, outperforming recent methods, including the approaches that use additional datasets for pretraining.

研究动机与目标

• 开发一种自监督音频表征学习框架，以有效捕捉频谱图中的局部与全局上下文信息。
• 探究在存在领域差异的情况下，原本在视觉领域表现成功的分组掩码建模方法是否可有效适配至音频频谱图。
• 通过整合对比学习以提升特征判别能力，改进标准掩码自编码器预训练方法。
• 评估预训练策略、模型规模与初始化方式对下游音频分类性能的影响。

提出的方法

• ASiT 使用视觉变换器主干网络，将音频频谱图作为二维空间输入进行处理。
• 采用分组掩码建模（GMML）方法，随机掩码频谱图标记的连续块，并从上下文信息中重建这些被掩码的部分。
• 引入教师-学生蒸馏框架，学生模型通过在全局与局部特征上的对比损失从教师模型中学习。
• 通过对齐原始频谱图与受损频谱图的特征，实现局部相似性学习，以保留细粒度的判别性模式。
• 通过联合训练重建损失（来自掩码自编码器）与对比损失（来自特征对齐）进行端到端优化。
• 在大规模无标签音频数据（AS-2M）上进行预训练，以无监督方式学习通用音频表征。

实验结果

研究问题

• RQ1 尽管音频频谱图具有1D信号特性且在结构上与图像存在差异，分组掩码建模方法（最初为图像设计）是否仍可有效应用于音频频谱图？
• RQ2 与仅使用重建损失相比，将重建损失与对比学习相结合是否能提升音频表征学习效果？
• RQ3 在有效的多标签音频事件分类中，是否需要同时引入局部相似性学习与全局对比学习？
• RQ4 与基于 ImageNet 的初始化相比，使用领域内音频数据进行预训练在下游性能方面表现如何？
• RQ5 在音频频谱图表征学习中，最优的预训练时长、掩码比例与块对齐策略分别是什么？

主要发现

• ASiT 在五个基准音频与语音分类任务中达到最先进性能，包括音频事件分类、关键词检测与说话人识别。
• 更长的预训练时间（最高达100个周期）带来系统性性能提升，AS-20K数据集上的 mAP 持续提高。
• 最优的掩码比例位于60%至80%之间，该范围在鼓励基于上下文的重建同时避免过拟合方面达到良好平衡。
• 当掩码不与块边界对齐时，预训练收敛更快且泛化能力更强，尤其在训练初期表现更优。
• 更大的模型规模（如 ViT-Base）带来更好的下游性能，证实 ASiT 具备随容量扩展的可扩展性。
• 在领域内音频数据（AS-2M）上进行预训练显著优于 ImageNet 预训练，且从 ImageNet 初始化相比纯音频预训练会降低性能。