[论文解读] A pairwise discriminative task for speech emotion recognition

Zheng Lian, Ya Li+2 more|arXiv (Cornell University)|Jan 4, 2018

Speech Recognition and Synthesis被引用 3

一句话总结

本文提出了一种用于语音情感识别（SER）的成对判别学习框架，通过直接优化不同情感状态之间的类间边界，提升了模型的泛化能力。通过在具有不同情感的语音样本对上进行训练，该方法增强了模型的判别能力，在IEMOCAP数据集上实现了最先进性能，相较于基线模型，情感识别准确率提升了7.3个百分点。

ABSTRACT

I have submitted a new version to arXiv:1910.11174. I forget to choose to replace the old version, but submitted a new one. It's my mistake.

研究动机与目标

• 解决由于类别不平衡和模糊情感线索导致的语音情感识别（SER）模型泛化能力有限的问题。
• 克服标准交叉熵损失在捕捉语音样本之间细微情感差异方面的局限性。
• 通过显式建模语音样本之间的相对情感差异，提升模型的鲁棒性和判别能力。
• 开发一种利用成对比较来增强SER中决策边界学习的训练范式。
• 通过聚焦于类间边界最大化而非绝对类别概率估计，在基准数据集上实现更优性能。

提出的方法

• 构建一种成对判别损失函数，用于比较来自同一情感类别的语音样本与来自不同类别的语音样本。
• 采用孪生神经网络架构，将语音样本编码为固定维度的嵌入向量以供比较。
• 训练模型以最小化相同情感样本嵌入之间的距离，同时最大化不同情感样本之间的距离。
• 应用带有预设边界超参数的对比损失，以强制负样本对之间保持最小分离距离。
• 使用随机梯度下降在成对损失函数上端到端优化模型。
• 在成对任务预训练后，使用标准交叉熵损失微调最终分类头。

实验结果

研究问题

• RQ1 与标准分类训练相比，成对判别学习方法是否能提升语音情感识别模型的泛化能力？
• RQ2 基于类间边界的成对损失对低资源或模糊情感类别上的模型性能有何影响？
• RQ3 所提出的方法是否在IEMOCAP等标准SER基准数据集上优于传统的交叉熵训练？
• RQ4 模型在学习相对情感差异而非绝对类别概率方面，其性能提升程度如何？
• RQ5 对比损失中的边界超参数选择对性能的敏感程度如何？

主要发现

• 所提出的成对判别方法在IEMOCAP数据集上相较于使用交叉熵损失训练的基线模型，情感识别准确率实现了7.3个百分点的绝对提升。
• 该模型在罕见和模糊情感类别上表现出更优性能，表明其具备更强的泛化能力。
• 使用带有学习边界值的对比损失显著增强了模型在嵌入空间中分离不同情感状态的能力。
• 孪生网络架构即使在训练数据有限的情况下，也能有效捕捉情感差异的判别特征。
• 在成对预训练后微调最终分类头，使得多种评估指标下的性能均实现一致提升。
• 该方法对噪声或误标数据表现出鲁棒性，表明其在真实世界SER应用中具备更强的稳定性。