[论文解读] A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition

Zhou Sitong, Homayoon Beigi|arXiv (Cornell University)|Aug 6, 2020

Emotion and Mood Recognition参考文献 20被引用 17

一句话总结

本文提出了一种用于语音情感识别的迁移学习方法，通过在大规模Tedlium2 ASR数据集上预训练的TDNN模型进行微调，并结合说话人自适应的MFCC与i-vector特征。该方法在IEMOCAP数据集上实现了71.7%的未加权准确率，显著优于先前的最先进方法。

ABSTRACT

This paper presents a transfer learning method in speech emotion recognition based on a Time-Delay Neural Network (TDNN) architecture. A major challenge in the current speech-based emotion detection research is data scarcity. The proposed method resolves this problem by applying transfer learning techniques in order to leverage data from the automatic speech recognition (ASR) task for which ample data is available. Our experiments also show the advantage of speaker-class adaptation modeling techniques by adopting identity-vector (i-vector) based features in addition to standard Mel-Frequency Cepstral Coefficient (MFCC) features.[1] We show the transfer learning models significantly outperform the other methods without pretraining on ASR. The experiments performed on the publicly available IEMOCAP dataset which provides 12 hours of motional speech data. The transfer learning was initialized by using the Ted-Lium v.2 speech dataset providing 207 hours of audio with the corresponding transcripts. We achieve the highest significantly higher accuracy when compared to state-of-the-art, using five-fold cross validation. Using only speech, we obtain an accuracy 71.7% for anger, excitement, sadness, and neutrality emotion content.

研究动机与目标

• 通过利用大规模ASR数据集作为预训练源，解决语音情感识别中的数据稀缺问题。
• 通过从自动语音识别（ASR）到情感分类的迁移学习，提升情感识别性能。
• 通过整合基于i-vector的说话人自适应与MFCC特征，增强模型鲁棒性。
• 通过在IEMOCAP基准上采用5折交叉验证策略，评估迁移学习的有效性。

提出的方法

• 使用207小时的Tedlium2 ASR数据对基于TDNN的深度神经网络进行预训练，以学习通用的声学表征。
• 通过在每帧上拼接40维MFCC与100维i-vector，生成说话人自适应特征。
• 选择预训练TDNN的第12层作为微调阶段的瓶颈特征层，用于IEMOCAP情感数据集的微调。
• 通过全连接层与Softmax分类器进行微调，实现帧级情感分类。
• 通过最大似然投票策略聚合帧级预测结果，获得话语级预测结果。
• 采用5折交叉验证策略，每次将IEMOCAP的一个会话作为测试集。

实验结果

研究问题

• RQ1 在大规模ASR数据上进行预训练是否能提升低资源语音情感识别的性能？
• RQ2 i-vector说话人自适应的整合对情感识别准确率有何影响？
• RQ3 在预训练的TDNN架构中，哪一层能提供最适合情感分类的可迁移特征？
• RQ4 与在有限情感数据集上端到端训练相比，从ASR迁移学习是否能带来显著的性能提升？

主要发现

• 所提出的迁移学习方法在IEMOCAP数据集上采用5折交叉验证，实现了71.7%的未加权准确率，超越了先前最先进方法的68.8%。
• 第12层TDNN在性能上表现最佳（在会话5中达到69.3%），优于倒数第二层（63.4%）与第13层（66.7%），表明其在泛化能力与判别能力之间达到了最佳平衡。
• 模型在区分兴奋与中性情绪方面表现尤为困难，28%的兴奋样本被误分类为中性。
• 中性情绪是最常见的误分类来源，常因能量低、语调单调而与悲伤情绪混淆。
• i-vector特征的使用显著提升了模型在说话人与环境变化下的鲁棒性。
• 结果表明，从ASR学习到的高层声学表征可有效迁移到情感识别任务中，暗示语音识别与情感检测之间存在共享的潜在表征。