[论文解读] A Siamese Neural Network with Modified Distance Loss For Transfer Learning in Speech Emotion Recognition

Kexin Feng, Theodora Chaspari|arXiv (Cornell University)|Jun 4, 2020

Emotion and Mood Recognition参考文献 12被引用 6

一句话总结

本文提出一种带有改进距离损失的孪生神经网络，以提升语音情感识别中的少样本迁移学习性能。通过在微调过程中优化同类别与不同类别样本对之间的相对距离，该方法相较标准微调在未加权平均召回率上最高提升7%，且源数据选择的影响大于微调冻结层的超参数调优。

ABSTRACT

Automatic emotion recognition plays a significant role in the process of human computer interaction and the design of Internet of Things (IOT) technologies. Yet, a common problem in emotion recognition systems lies in the scarcity of reliable labels. By modeling pairwise differences between samples of interest, a Siamese network can help to mitigate this challenge since it requires fewer samples than traditional deep learning methods. In this paper, we propose a distance loss, which can be applied on the Siamese network fine-tuning, by optimizing the model based on the relevant distance between same and difference class pairs. Our system use samples from the source data to pre-train the weights of proposed Siamese neural network, which are fine-tuned based on the target data. We present an emotion recognition task that uses speech, since it is one of the most ubiquitous and frequently used bio-behavioral signals. Our target data comes from the RAVDESS dataset, while the CREMA-D and eNTERFACE'05 are used as source data, respectively. Our results indicate that the proposed distance loss is able to greatly benefit the fine-tuning process of Siamese network. Also, the selection of source data has more effect on the Siamese network performance compared to the number of frozen layers. These suggest the great potential of applying the Siamese network and modelling pairwise differences in the field of transfer learning for automatic emotion recognition.

研究动机与目标

• 通过迁移学习解决语音情感识别中标签数据有限的挑战。
• 在仅有少量目标样本可用时，提升知识迁移效率。
• 探索孪生网络在少样本情感识别中利用成对相似性学习的有效性。
• 研究源数据集选择与网络架构超参数（如冻结层数）对微调性能的影响。
• 提出一种新型距离损失，通过建模类间与类内相对距离，增强特征判别能力。

提出的方法

• 在源数据集（CREMA-D 和 eNTERFACE’05）上预训练孪生神经网络，并在目标 RAVDESS 数据集上进行微调。
• 所提出的改进距离损失在微调过程中优化同类别与不同类别样本对的特征嵌入之间的相对距离。
• 损失函数仅应用于特征提取层，以保留决策能力的同时提升嵌入质量。
• 使用 openSMILE 提取语音特征，得到包含 MFCC、能量、过零率及其一阶导数的 64 维特征向量。
• 通过调整冻结层数量以及不同数量的目标说话人（3–5 人）进行微调，以评估泛化能力与数据效率。
• 在多个源-目标数据组合上，使用 RAVDESS 数据集的未加权平均召回率（UAR）评估性能。

实验结果

研究问题

• RQ1 改进的距离损失是否能提升孪生网络在语音情感识别少样本迁移学习中的性能？
• RQ2 源数据选择如何影响孪生网络在跨域情感识别中的微调性能？
• RQ3 微调过程中冻结层数量对性能的影响是否大于源数据集的选择？
• RQ4 通过孪生网络进行成对相似性学习，在极少数标签目标数据下，能在多大程度上缓解领域偏移问题？
• RQ5 所提出的损失函数是否能在不增加计算成本的前提下提升知识迁移效率？

主要发现

• 与标准微调相比，所提出的改进距离损失使未加权平均召回率（UAR）最高提升 7%，当使用 CREMA-D 作为源数据集时，达到 43.4% 的 UAR。
• 采用改进损失的微调性能优于基线微调和域外训练，后者分别仅达到 32.8% 和 29.3% 的 UAR。
• 源数据选择对性能的影响大于冻结层数量，CREMA-D 的表现优于 eNTERFACE’05。
• 在微调过程中包含 3–5 名目标说话人可实现最佳性能-数据比，表明在数据稀缺与分布覆盖之间存在最优平衡。
• 尽管未超越域内训练（50.0% UAR），该方法在孪生网络结合改进损失后展现出强大潜力，表明仍有进一步提升空间。
• 该方法表明，建模相对成对距离可增强低资源环境下的特征判别能力与知识迁移效率。