[论文解读] CTL-MTNet: A Novel CapsNet and Transfer Learning-Based Mixed Task Net for the Single-Corpus and Cross-Corpus Speech Emotion Recognition

Xin-Cheng Wen, Jiaxin Ye+5 more|arXiv (Cornell University)|Jul 18, 2022

Emotion and Mood Recognition被引用 11

一句话总结

该论文提出了一种基于胶囊网络（CapsNet）与迁移学习的新型混合任务网络 CTL-MTNet，用于单语料库和跨语料库的语音情感识别。通过在卷积-池化与注意力胶囊网络（CPAC）模块中引入自注意力机制，并结合具有边缘差异差异性（MDD）的语料适应对抗模块（CAAM），该模型学习到领域不变的情感表征，在四种多语言语音情感识别（SER）数据集上，无论是在单语料库还是跨语料库设置下，均实现了最先进（SOTA）的性能表现。

ABSTRACT

Speech Emotion Recognition (SER) has become a growing focus of research in human-computer interaction. An essential challenge in SER is to extract common attributes from different speakers or languages, especially when a specific source corpus has to be trained to recognize the unknown data coming from another speech corpus. To address this challenge, a Capsule Network (CapsNet) and Transfer Learning based Mixed Task Net (CTLMTNet) are proposed to deal with both the singlecorpus and cross-corpus SER tasks simultaneously in this paper. For the single-corpus task, the combination of Convolution-Pooling and Attention CapsNet module CPAC) is designed by embedding the self-attention mechanism to the CapsNet, guiding the module to focus on the important features that can be fed into different capsules. The extracted high-level features by CPAC provide sufficient discriminative ability. Furthermore, to handle the cross-corpus task, CTL-MTNet employs a Corpus Adaptation Adversarial Module (CAAM) by combining CPAC with Margin Disparity Discrepancy (MDD), which can learn the domain-invariant emotion representations through extracting the strong emotion commonness. Experiments including ablation studies and visualizations on both singleand cross-corpus tasks using four well-known SER datasets in different languages are conducted for performance evaluation and comparison. The results indicate that in both tasks the CTL-MTNet showed better performance in all cases compared to a number of state-of-the-art methods. The source code and the supplementary materials are available at: https://github.com/MLDMXM2017/CTLMTNet

研究动机与目标

• 为解决在不同说话人与语言的语音语料库之间学习共享情感表征的挑战。
• 通过注意力机制增强特征可分性，提升单语料库语音情感识别的性能。
• 通过对抗自适应学习领域不变表征，实现鲁棒的跨语料库情感识别。
• 构建一个统一框架，有效同时处理单语料库与跨语料库 SER 任务。

提出的方法

• 提出一种新型 CPAC 模块，将卷积-池化与自注意力机制结合，引导胶囊注意力聚焦于显著且具有判别性的特征。
• 将 CPAC 模块与语料适应对抗模块（CAAM）结合，对齐领域分布，并提取跨语料库的共享情感特征。
• 采用边缘差异差异性（MDD）作为领域自适应损失，以最小化源域与目标域表征之间的差异。
• 采用混合任务学习策略，在单一网络架构中联合优化单语料库与跨语料库 SER 的目标。
• 使用四个多语言 SER 数据集进行端到端训练，以评估模型的泛化能力与鲁棒性。
• 通过使用共享特征初始化网络并针对特定语料库任务进行微调，应用迁移学习原则。

实验结果

研究问题

• RQ1 基于胶囊网络并引入自注意力机制，是否能提升单语料库语音情感识别的特征表征能力？
• RQ2 通过对抗自适应与 MDD 方法，能否有效学习到跨不同语音语料库的领域不变表征？
• RQ3 CPAC 与 CAAM 的集成是否相比现有方法能显著提升跨语料库语音情感识别的性能？
• RQ4 该统一的混合任务框架在多样化语言与说话人领域中的泛化能力如何？

主要发现

• CTL-MTNet 在所评估的全部四个多语言 SER 数据集上均达到最先进性能，在单语料库与跨语料库设置下均优于现有 SOTA 方法。
• 消融实验表明，CPAC 模块显著提升了特征可分性，尤其在捕捉细微情感线索方面表现突出。
• 结合 MDD 的 CAAM 有效缓解了领域偏移问题，实现了从源语料到未见目标语料的强泛化能力。
• 可视化结果表明，模型能够聚焦于与情感相关的关键语音段，尤其在跨语料库场景中表现明显。
• 模型在不同语言间表现出一致的性能提升，表明其具备鲁棒的跨语言情感表征学习能力。
• 完整框架在跨语料库评估中实现了更高的准确率与 F1 分数，验证了联合学习策略的有效性。