[论文解读] Fusing ASR Outputs in Joint Training for Speech Emotion Recognition

Yuanchao Li, Peter Bell+1 more|arXiv (Cornell University)|Oct 29, 2021

Speech Recognition and Synthesis被引用 5

一句话总结

本文提出了一种联合 ASR-SER 训练框架，通过分层共注意机制融合 Wav2vec 2.0 的隐藏表征与文本输出，在 IEMOCAP 数据集上实现了 63.4% 的加权准确率——几乎与使用真实转录文本的 60.0% 基线相当。该方法通过利用多层级 ASR 特征，提升了 SER 的鲁棒性，即使存在转录错误亦能有效缓解。

ABSTRACT

Alongside acoustic information, linguistic features based on speech transcripts have been proven useful in Speech Emotion Recognition (SER). However, due to the scarcity of emotion labelled data and the difficulty of recognizing emotional speech, it is hard to obtain reliable linguistic features and models in this research area. In this paper, we propose to fuse Automatic Speech Recognition (ASR) outputs into the pipeline for joint training SER. The relationship between ASR and SER is understudied, and it is unclear what and how ASR features benefit SER. By examining various ASR outputs and fusion methods, our experiments show that in joint ASR-SER training, incorporating both ASR hidden and text output using a hierarchical co-attention fusion approach improves the SER performance the most. On the IEMOCAP corpus, our approach achieves 63.4% weighted accuracy, which is close to the baseline results achieved by combining ground-truth transcripts. In addition, we also present novel word error rate analysis on IEMOCAP and layer-difference analysis of the Wav2vec 2.0 model to better understand the relationship between ASR and SER.

研究动机与目标

• 研究自动语音识别（ASR）输出如何在联合训练设置中提升语音情感识别（SER）性能。
• 分析不同 ASR 输出（隐藏状态与文本输出）对 SER 性能的影响。
• 通过分析不同情感类别中词错误率（WER）的变化，理解 ASR 在情感语音上失败的原因。
• 识别能有效缓解 ASR 错误影响的最优融合策略。
• 探索 Wav2vec 2.0 中间层在跨任务迁移至 SER 中的作用。

提出的方法

• 在 IEMOCAP 语料上微调 Wav2vec 2.0-base-960h 模型，用于联合 ASR 与 SER 训练。
• 提取并利用四种类型的 ASR 输出：来自第一层、中间层和最后一层的隐藏状态，以及解码器生成的文本输出。
• 实现一种分层共注意融合机制，用于建模声学特征与 ASR 输出之间的跨模态关系。
• 比较不同融合策略：拼接、逐元素相加与共注意机制，结果显示共注意机制性能更优。
• 采用 5 折交叉验证，并以加权准确率（WA）为主要评估指标。
• 对每种情感类别的 WER 进行分析，并对 Wav2vec 2.0 表征进行分层分析，以研究模态特定特征的相关性。

实验结果

研究问题

• RQ1 在联合训练设置中，引入 ASR 输出如何提升 SER 性能？
• RQ2 ASR 输出中的隐藏状态与文本输出，哪一类对 SER 的贡献更有效，原因是什么？
• RQ3 在情感语音中，词错误率（WER）在不同情感类别间如何变化？其反直觉模式的成因是什么？
• RQ4 ASR 与声学特征在 SER 中的最优融合策略是什么？该策略如何缓解 ASR 错误的影响？
• RQ5 Wav2vec 2.0 模型的哪些层提供了对 SER 最具信息量的表征？它们在模态敏感性方面有何差异？

主要发现

• 所提出的 ASR 隐藏状态与文本输出的分层共注意融合方法在 IEMOCAP 上实现了 63.4% 的加权准确率，接近使用真实转录文本的 60.0% 基线结果。
• Wav2vec 2.0 的中间层隐藏状态在测试的三个层中表现最佳，达到 46.1% WA，而最后一层输出下降至 42.0% WA。
• ASR 解码器生成的文本输出优于所有隐藏状态表征，与先前认为特征更鲁棒的假设相矛盾。
• 词错误率（WER）在“高兴”和“中性”情感类别中最高，尽管“中性”本应更简单，表明语调变化与短语句效应的影响。
• 短句（少于 10 个词）的 WER 显著更高，挑战了“长句更易出错”的既有假设。
• 共注意融合优于拼接与逐元素相加，尤其是在使用真实转录文本时，表明注意力机制能有效建模相关的跨模态依赖关系。