[论文解读] emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation

Ziyang Ma, Zhisheng Zheng+5 more|arXiv (Cornell University)|Dec 23, 2023

Emotion and Mood Recognition被引用 6

一句话总结

emotion2vec 是一种自监督的、通用的语音情感表征模型，通过使用联合的说话人级和帧级损失，在 262 小时未标注情感数据上进行在线蒸馏预训练。该模型在 IEMOCAP 数据集上达到最先进性能，并在 10 种语言和多种情感任务上实现良好泛化，仅通过简单的线性头微调，优于通用模型和情感专用模型。

ABSTRACT

We propose emotion2vec, a universal speech emotion representation model. emotion2vec is pre-trained on open-source unlabeled emotion data through self-supervised online distillation, combining utterance-level loss and frame-level loss during pre-training. emotion2vec outperforms state-of-the-art pre-trained universal models and emotion specialist models by only training linear layers for the speech emotion recognition task on the mainstream IEMOCAP dataset. In addition, emotion2vec shows consistent improvements among 10 different languages of speech emotion recognition datasets. emotion2vec also shows excellent results on other emotion tasks, such as song emotion recognition, emotion prediction in conversation, and sentiment analysis. Comparison experiments, ablation experiments, and visualization comprehensively demonstrate the universal capability of the proposed emotion2vec. To the best of our knowledge, emotion2vec is the first universal representation model in various emotion-related tasks, filling a gap in the field.

研究动机与目标

• 为解决缺乏能够跨多样化情感任务和语言泛化的通用语音情感表征模型的问题。
• 通过在预训练过程中结合说话人级和帧级自监督损失，提升语音情感表征学习能力。
• 开发一种模型，无需大量微调即可超越通用自监督学习（SSL）模型和任务专用情感模型。
• 展示所学习表征在下游任务（如语音情感识别、歌曲情感识别和情感分析）中的零样本迁移能力。
• 验证在线蒸馏与多层级监督在学习情感感知表征中的有效性。

提出的方法

• 在 262 小时开源的未标注情感数据上，采用在线蒸馏范式预训练 emotion2vec，以实现自监督学习。
• 在预训练过程中同时整合说话人级和帧级对比损失，以捕捉全局情感语境和局部声学细节。
• 使用片段嵌入作为说话人级损失的正样本，其性能优于基于标记级和全局级的方法。
• 采用说话人级与帧级损失 1:1 的加权组合，实现最优性能。
• 使用 UMAP 可视化分析学习到的表征，并比较不同模型之间的类别可分性。
• 在 emotion2vec 特征之上训练简单的线性分类器用于下游评估，确保与基线方法的公平比较。

实验结果

研究问题

• RQ1 结合说话人级和帧级损失的自监督预训练方法，是否能学习到比现有 SSL 模型更具判别性的语音情感表征？
• RQ2 emotion2vec 是否能在语音情感识别之外的多种语言和情感任务上实现泛化？
• RQ3 与单一监督策略相比，说话人级与帧级监督的结合如何提升表征质量？
• RQ4 emotion2vec 是否仅通过线性头微调即可在 IEMOCAP 上实现最先进性能，超越通用 SSL 模型和情感专用模型？
• RQ5 从视觉和定量角度比较，emotion2vec 学习到的表征在类内紧凑性和类间距离方面表现如何？

主要发现

• emotion2vec 仅使用线性头，在 IEMOCAP 数据集上达到 72.13% 的加权准确率，超越所有主流 SSL 模型和专用模型。
• 同时使用说话人级和帧级损失的模型（加权准确率 71.79%）显著优于仅使用帧级损失（70.85% WA）或仅使用说话人级损失（28.96% WA）的模型。
• emotion2vec 在涵盖 10 种语言的 13 个多样化数据集上均表现出一致提升，证明其具备强大的语言泛化能力。
• 在歌曲情感识别和对话中情感预测任务上，emotion2vec 特征表现优异，证实其任务泛化能力。
• UMAP 可视化显示，emotion2vec 特征的类内紧凑性更高、类间距离更大，优于 WavLM 和 data2vec，表明其具备更好的类别可分性。
• 消融实验验证了 1:1 损失权重和基于片段嵌入的说话人级损失设计选择的优越性，支持模型架构设计的合理性。