[论文解读] EmoNet: A Transfer Learning Framework for Multi-Corpus Speech Emotion Recognition

Maurice Gerczuk, Shahin Amiriparian+2 more|arXiv (Cornell University)|Mar 10, 2021

Speech and Audio Processing被引用 7

一句话总结

EmoNet 提出了一种参数高效的迁移学习框架，用于在大规模统一语料库（EmoSet）上进行多语料语音情感识别，该语料库包含来自26个不同语音情感识别（SER）数据集的84,181个音频样本。通过仅微调适配器模块并共享主干ResNet结构，EmoNet在26个数据集中的21个上实现了性能提升——其中10个提升具有统计显著性——且参数量仅为单个数据集模型的3.5倍。

ABSTRACT

In this manuscript, the topic of multi-corpus Speech Emotion Recognition (SER) is approached from a deep transfer learning perspective. A large corpus of emotional speech data, EmoSet, is assembled from a number of existing SER corpora. In total, EmoSet contains 84181 audio recordings from 26 SER corpora with a total duration of over 65 hours. The corpus is then utilised to create a novel framework for multi-corpus speech emotion recognition, namely EmoNet. A combination of a deep ResNet architecture and residual adapters is transferred from the field of multi-domain visual recognition to multi-corpus SER on EmoSet. Compared against two suitable baselines and more traditional training and transfer settings for the ResNet, the residual adapter approach enables parameter efficient training of a multi-domain SER model on all 26 corpora. A shared model with only $3.5$ times the number of parameters of a model trained on a single database leads to increased performance for 21 of the 26 corpora in EmoSet. Measured by McNemar's test, these improvements are further significant for ten datasets at $p<0.05$ while there are just two corpora that see only significant decreases across the residual adapter transfer experiments. Finally, we make our EmoNet framework publicly available for users and developers at https://github.com/EIHW/EmoNet. EmoNet provides an extensive command line interface which is comprehensively documented and can be used in a variety of multi-corpus transfer learning settings.

研究动机与目标

• 通过将26个现有的语音情感识别（SER）语料库统一为一个大规模语料库（EmoSet），解决有限且碎片化的SER数据集挑战。
• 通过在多个多样化SER语料库之间实现参数高效的迁移学习，克服为每个语料库单独训练模型的低效问题。
• 开发一种深度学习框架，使其能够在多样化的情感语音数据上实现良好泛化，同时最小化计算和参数开销。
• 通过公开可用且文档齐全的命令行接口，使研究人员能够轻松将该框架应用于各种多语料和多领域音频分析任务。

提出的方法

• 构建 EmoSet，一个包含来自26个现有SER语料库的84,181段音频记录的统一语料库，总时长超过65小时。
• 将多领域视觉识别中的残差适配器技术适配至基于梅尔频谱图输入的语音情感识别任务。
• 在特定层插入轻量级残差适配器模块，训练一个共享的深度ResNet主干网络，从而实现在每个语料库上的参数高效微调。
• 采用轮询采样策略，同时在全部26个语料库上训练共享模型，每个批次轮流从不同数据集中抽取。
• 将基于适配器的迁移学习方法与两个基线方法进行比较：为每个语料库从头训练模型，以及仅微调分类器头。
• 使用标准SER指标评估性能，并通过McNemar检验评估统计显著性。

实验结果

研究问题

• RQ1 一个统一的深度学习框架是否能有效在26个多样化的小规模SER语料库之间迁移知识，从而提升情感识别性能？
• RQ2 使用残差适配器是否能在保持或提升性能的同时，实现在多语料SER中的参数高效迁移学习，相较于全量微调？
• RQ3 在所有26个语料库上联合训练的共享模型，其性能与在每个数据集上单独训练的模型相比如何，特别是在泛化能力和统计显著性方面？
• RQ4 是否存在某些语料库在多语料方法下性能出现下降？如果是，可能的原因是什么？

主要发现

• 与从头训练或仅微调分类器头相比，使用残差适配器在完整EmoSet上训练的EmoNet框架在26个语料库中的21个上实现了性能提升。
• 在21个性能提升的语料库中，有10个在p < 0.05水平上具有统计显著性，该结果通过McNemar检验确定。
• 仅有两个语料库——eNTERFACE 和 MES——在基于适配器的方法下表现持续更差，eNTERFACE的强单语料库性能可能是导致这一结果的原因。
• 基于适配器的方法仅需单语料库模型3.5倍的参数量，却在许多情况下优于全量微调（全量微调需约10倍参数量）。
• 该框架表明，结合残差适配器的多语料训练能够有效实现在多样化情感语音数据之间的知识迁移，即使每个语料库的数据量有限。
• 公开发布的EmoNet框架包含一个全面的命令行接口，支持广泛复用和扩展，适用于多语料音频分析任务。