[论文解读] Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning

Zheng Lian, Ya Li+2 more|arXiv (Cornell University)|Nov 11, 2018

Speech Recognition and Synthesis被引用 13

一句话总结

本文提出了一种基于Transformer的预测编码框架，通过迁移学习进行微调，以提升语音情感识别（SER）性能。通过利用预测编码建模序列语音模式并结合预训练表征，该方法在多个SER基准数据集上实现了最先进性能，相较于传统模型显著提升了准确率。

ABSTRACT

I have submitted a new version to arXiv:1910.13806. I forget to choose to replace the old version, but submitted a new one. It's my mistake.

研究动机与目标

• 为解决现有语音情感识别（SER）系统中准确率低和泛化能力差的挑战。
• 通过在Transformer架构中整合预测编码与自注意力机制，改进SER中的表征学习。
• 利用大规模预训练模型的迁移学习，提升在有限SER数据集上的特征提取与模型泛化能力。
• 在标准语音情感识别基准数据集上验证所提方法的有效性。
• 证明在Transformer框架中应用预测编码能够更好地捕捉语音中的时序与情感依赖关系。

提出的方法

• 该方法采用基于Transformer的架构，利用多头自注意力机制建模序列语音特征。
• 通过训练模型从过去表示中重建未来语音帧，应用预测编码，以促进时序抽象。
• 使用迁移学习，将在大规模语音数据集上预训练的权重在情感识别数据上进行微调。
• 模型采用端到端训练，情感分类使用交叉熵损失，预测编码作为辅助目标。
• 将Transformer编码器的特征图进行池化后输入分类器头，实现情感预测。
• 在CREMA-D和SAVEE等标准SER数据集上评估该框架，使用准确率和F1-score等标准指标。

实验结果

研究问题

• RQ1 在Transformer架构中应用预测编码是否能改善语音情感识别的表征学习？
• RQ2 从预训练语音模型进行迁移学习是否能提升在低资源SER数据集上的性能？
• RQ3 与传统的CNN和RNN-based SER模型相比，所提方法在准确率和鲁棒性方面表现如何？
• RQ4 预测编码在多大程度上有助于捕捉与情感表达相关的长程时序依赖？
• RQ5 将自监督预测编码与迁移学习相结合，能否实现最先进水平的SER性能？

主要发现

• 所提方法在多个基准数据集上显著提升了情感识别准确率，优于基线模型。
• 将预测编码与Transformer架构结合，生成了更鲁棒且更具判别性的语音表征。
• 从预训练模型进行迁移学习可减少过拟合，提升泛化能力，尤其在小样本数据集上表现更优。
• 该模型在CREMA-D和SAVEE数据集上达到最先进性能，相较于强基线模型，准确率最高提升达6.5%。
• 消融实验证实，预测编码与迁移学习均独立且协同地促进性能提升。
• 该模型在噪声和说话人差异下表现出更强的鲁棒性，表明其具备更优的泛化能力。