[论文解读] MSAC: Multiple Speech Attribute Control Method for Reliable Speech Emotion Recognition

Yu Pan, Yang, Yuguang+7 more|arXiv (Cornell University)|Aug 8, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出MSAC，一种基于CNN的新型语音情感识别（SER）框架，通过使用加性Margin Softmax损失显式控制多种语音属性（如说话人、性别和语言），以提升模型鲁棒性。通过解耦情感无关特征，MSAC在IEMOCAP数据集上实现了SOTA性能，加权准确率达到72.97%，未加权准确率达到71.76%，同时通过分布外（OOD）检测显著提升了可靠性。

ABSTRACT

Despite notable progress, speech emotion recognition (SER) remains challenging due to the intricate and ambiguous nature of speech emotion, particularly in wild world. While current studies primarily focus on recognition and generalization abilities, our research pioneers an investigation into the reliability of SER methods in the presence of semantic data shifts and explores how to exert fine-grained control over various attributes inherent in speech signals to enhance speech emotion modeling. In this paper, we first introduce MSAC-SERNet, a novel unified SER framework capable of simultaneously handling both single-corpus and cross-corpus SER. Specifically, concentrating exclusively on the speech emotion attribute, a novel CNN-based SER model is presented to extract discriminative emotional representations, guided by additive margin softmax loss. Considering information overlap between various speech attributes, we propose a novel learning paradigm based on correlations of different speech attributes, termed Multiple Speech Attribute Control (MSAC), which empowers the proposed SER model to simultaneously capture fine-grained emotion-related features while mitigating the negative impact of emotion-agnostic representations. Furthermore, we make a first attempt to examine the reliability of the MSAC-SERNet framework using out-of-distribution detection methods. Experiments on both single-corpus and cross-corpus SER scenarios indicate that MSAC-SERNet not only consistently outperforms the baseline in all aspects, but achieves superior performance compared to state-of-the-art SER approaches.

研究动机与目标

• 为解决语音情感识别（SER）系统在分布偏移情况下的可靠性评估不足问题，特别是在真实世界、复杂环境下的表现。
• 通过显式控制数据在多个语音属性（如说话人、性别、语言）上的分布，建模语音情感。
• 开发一种统一的SER工作流程，以在单语料和跨语料设置下均提升性能。
• 开创性地使用分布外（OOD）检测来评估SER模型的可靠性。
• 在保留情感相关表征的同时，减少情感无关特征的干扰。

提出的方法

• 使用加性Margin Softmax（AM-Softmax）损失端到端训练基于CNN的SER模型，以降低情感类别间的相似性并减少类内差异。
• MSAC方法通过在训练过程中学习解耦表征，显式控制多种语音属性（如说话人、性别、语言）。
• 模型采用三支路卷积流，使用不同卷积核大小，从Fbank输入中提取多尺度时域与频域特征。
• 在时域维度上应用统计池化（均值与标准差），以捕捉变化与能量特征，增强对情感敏感的表征。
• 使用包含批归一化和LeakyReLU的两阶段全连接投影头，对最终嵌入进行优化后进行分类。
• 通过SOTA方法MaxLogit评估分布外（OOD）检测性能，以评估模型在分布偏移下的可靠性。

实验结果

研究问题

• RQ1 如何使语音情感识别模型在分布偏移下更具可靠性，特别是在真实世界、复杂环境设置中？
• RQ2 对多个语音属性（如说话人、性别、语言）进行显式控制，在多大程度上能提升SER性能与鲁棒性？
• RQ3 统一的SER工作流程是否能在单语料与跨语料设置下均实现更优性能？
• RQ4 与现有领域自适应或数据增强策略相比，所提出的MSAC方法在OOD泛化与可靠性方面表现如何？
• RQ5 控制情感无关属性（如说话人、性别）是否能带来更优的情感相关特征解耦？

主要发现

• 在IEMOCAP语料上，所提出的基于MSAC的SER模型实现了72.97%的加权准确率与71.76%的未加权准确率，优于基线模型。
• 在单语料SER中，该方法相比基线模型将WAR与UAR分别提升了4.57%与3.34%。
• 在跨语料SER中，模型在分布内数据上达到44.64%的WAR与44.42%的UAR，在分布外数据上达到54.25%的WAR/UAR。
• 与基线相比，MSAC方法将FPR95降低27.40%，AUROC提升13.22%，表现出更优的可靠性。
• 该方法在所有指标上均优于基于ADA的基线方法[gat2022speaker]，在OOD泛化上的平均WAR提升了2.85%。
• 当与$G_{ML}$策略结合时，MSAC在WAR/UAR上进一步将OOD泛化性能提升0.8%，显示出协同增益效应。