[论文解读] Masked Autoencoders that Listen

Po-Yao Huang, Xu Hu+6 more|arXiv (Cornell University)|Jul 13, 2022

Music and Audio Processing被引用 109

一句话总结

Audio-MAE 将 Masked Autoencoders 扩展到音频谱图，使用高掩蔽比率和局部解码器注意力来学习自监督音频表示，在六个任务上实现了最先进的结果。

ABSTRACT

This paper studies a simple extension of image-based Masked Autoencoders (MAE) to self-supervised representation learning from audio spectrograms. Following the Transformer encoder-decoder design in MAE, our Audio-MAE first encodes audio spectrogram patches with a high masking ratio, feeding only the non-masked tokens through encoder layers. The decoder then re-orders and decodes the encoded context padded with mask tokens, in order to reconstruct the input spectrogram. We find it beneficial to incorporate local window attention in the decoder, as audio spectrograms are highly correlated in local time and frequency bands. We then fine-tune the encoder with a lower masking ratio on target datasets. Empirically, Audio-MAE sets new state-of-the-art performance on six audio and speech classification tasks, outperforming other recent models that use external supervised pre-training. The code and models will be at https://github.com/facebookresearch/AudioMAE.

研究动机与目标

• 推动将掩蔽自编码器预训练从图像扩展到音频谱图，以提升自监督表示。
• 开发具备 Transformer 编码器-解码器架构的 Audio-MAE，能够对谱图片段进行掩蔽并重建被掩蔽的内容。
• 探索适用于谱图的掩蔽策略（无结构 vs 结构化）以及解码器注意力机制（全局 vs 局部）。
• 证明在 AudioSet 上进行仅音频的自监督预训练即可在多个音频和语音任务上达到最先进的结果。
• 证明在同一模态下进行 pre-training 和微调即可消除跨模态迁移学习的需要。

提出的方法

• 在对大量谱图片段进行掩蔽（例如 80%）后，使用 Transformer 编码器对谱图片段进行编码（未被掩蔽的片段输入编码器）。
• 用可学习的掩码标记对编码后的片段进行填充，并使用 Transformer 解码器进行解码以重建输入谱图。
• 在解码器中应用局部注意力（移位窗口或全局+局部混合方案）以更好地捕捉音频的时频局部性。
• 将 patch-normalized 均方误差用作重建目标；没有额外的对比损失可提高性能。
• 对下游任务微调编码器，采用较低的掩蔽比率和可选的掩蔽以正则化学习，在预训练后丢弃解码器。

实验结果

研究问题

• RQ1 MAE 风格的掩蔽自编码是否能够有效适用于音频谱图以进行自监督表示学习？
• RQ2 解码器中的局部注意力机制相较于全局注意力是否更好地捕捉到音频的局部时频结构？
• RQ3 预训练掩蔽策略（无结构 vs 结构化）与微调掩蔽策略如何影响音频和语音任务的性能？
• RQ4 仅在 AudioSet 上进行音频预训练是否足以在多种音频和语音任务上实现最先进的结果，而不需要跨模态迁移学习？
• RQ5 模型大小、补丁大小和预训练数据规模对 Audio-MAE 性能有什么影响？

主要发现

• Audio-MAE 在六个音频与语音分类任务上通过对齐领域内的自监督预训练在 AudioSet 上实现了最先进的性能。
• 以高掩蔽比率（80%）和无结构掩蔽进行预训练可获得强劲的性能。
• 解码器局部注意力（移位窗口）优于普通全局注意力，混合全局+局部注意力也带来提升。
• 在下游任务中，使用较低掩蔽和结构化掩蔽（时+频）微调可提供最佳结果。
• 可听的和定性重建展示了对谱图的有意义恢复，说明模型有捕捉音频结构的能力。