[论文解读] A vector quantized masked autoencoder for audiovisual speech emotion recognition

Samir Sadok, Simon Leglaive+1 more|arXiv (Cornell University)|May 5, 2023

Speech and Audio Processing被引用 5

一句话总结

该论文提出 VQ-MAE-AV，一种自监督的音视频语音情感识别模型，利用预训练的向量量化变分自编码器（VQ-VAEs）提取音频和视频的离散表征，随后通过掩码自编码器（MAE）重建被掩码的时空与频谱时域标记。该模型在 VoxCeleb2 上预训练，并在标准 SER 数据集上微调，其性能优于最先进（SOTA）的监督方法，通过多模态重建与联合表征学习实现性能提升。

ABSTRACT

An important challenge in emotion recognition is to develop methods that can leverage unlabeled training data. In this paper, we propose the VQ-MAE-AV model, a self-supervised multimodal model that leverages masked autoencoders to learn representations of audiovisual speech without labels. The model includes vector quantized variational autoencoders that compress raw audio and visual speech data into discrete tokens. The audiovisual speech tokens are used to train a multimodal masked autoencoder that consists of an encoder-decoder architecture with attention mechanisms. The model is designed to extract both local (i.e., at the frame level) and global (i.e., at the sequence level) representations of audiovisual speech. During self-supervised pre-training, the VQ-MAE-AV model is trained on a large-scale unlabeled dataset of audiovisual speech, for the task of reconstructing randomly masked audiovisual speech tokens and with a contrastive learning strategy. During this pre-training, the encoder learns to extract a representation of audiovisual speech that can be subsequently leveraged for emotion recognition. During the supervised fine-tuning stage, a small classification model is trained on top of the VQ-MAE-AV encoder for an emotion recognition task. The proposed approach achieves state-of-the-art emotion recognition results across several datasets in both controlled and in-the-wild conditions.

研究动机与目标

• 通过利用自监督预训练来应对音视频语音情感识别（SER）中标签数据有限的挑战。
• 通过结合预训练 VQ-VAEs 提取的离散音频与视觉标记，改进多模态表征学习。
• 开发一种专用于音视频序列的掩码自编码器框架，以重建被掩码的时空与频谱时域标记。
• 评估多模态重建在提升下游 SER 性能方面的有效性。
• 研究标记化参数（h, w, d）对模型性能的影响。

提出的方法

• 该模型使用两个预训练的 VQ-VAEs 从原始音频和视频输入中提取离散表征。
• 音频与视觉表征被划分为非重叠的时空（视觉）与频谱时域（音频）标记。
• 应用掩码自编码器架构，其中 75% 的离散标记被掩码，模型仅利用可见标记重建被掩码的标记。
• 编码器处理可见标记并生成潜在表征，而轻量级解码器则重建被掩码的标记。
• 该模型在 VoxCeleb2 数据集上使用离散标记的重建损失进行预训练，随后在情感音视频 SER 数据集上进行微调。
• 该方法沿时间轴采用立方体掩码策略，掩码比例较高（最高达 90%），以促进鲁棒的表征学习。

实验结果

研究问题

• RQ1 来自 VQ-VAEs 的离散音频与视觉表征是否能提升音视频 SER 的多模态自监督学习？
• RQ2 VQ-MAE-AV 模型在标准音视频 SER 基准上的性能与最先进（SOTA）监督方法相比如何？
• RQ3 不同标记化参数（h, w, d）对模型情感识别准确率的影响是什么？
• RQ4 模型在多模态信息的辅助下，能在多大程度上重建被掩码的音频或视觉内容？
• RQ5 联合多模态重建是否能带来优于单模态重建的下游 SER 性能？

主要发现

• 在 VoxCeleb2 上预训练并微调标准数据集后，VQ-MAE-AV 模型的性能优于最先进（SOTA）的监督音视频 SER 方法。
• 在 90% 掩码率下，与单模态模型相比，VQ-MAE-AV 在视觉重建中实现 PSNR 提升 3.68 dB，在音频重建中实现 SDR 提升 2.87 dB。
• 即使音频完全被掩码（100% 掩码），该模型仍能成功重建音素与语音结构，完全依赖视觉唇部运动信息。
• 最优的标记化参数为 h = w = 4 且 d = 4（音频与视觉模态均适用），在性能与计算成本之间取得良好平衡。
• 实验表明，多模态重建显著提升了表征质量，体现在更优的重建性能与下游 SER 准确率上。
• 消融实验确认，联合多模态学习在性能上优于单模态方法，尤其在高掩码率下表现更优。