[论文解读] An Ensemble 1D-CNN-LSTM-GRU Model with Data Augmentation for Speech Emotion Recognition

Md. Rayhan Ahmed, Salekul Islam+5 more|arXiv (Cornell University)|Dec 10, 2021

Speech and Audio Processing被引用 11

一句话总结

该论文提出了一种集成深度学习模型，结合1D-CNN、LSTM和GRU架构，并采用数据增强技术以提升语音情感识别性能。通过利用带有空洞卷积、批量归一化和最大池化的局部特征获取模块（LFAB），并结合LSTM和GRU进行长期时序建模，该模型在五个基准数据集（TESS、EMO-DB、RAVDESS、SAVEE、CREMA-D）上实现了最先进的加权平均准确率。该方法使用手工提取的音频特征，并通过噪声/音高/波形拉伸增强来减少过拟合。

ABSTRACT

In this paper, we propose an ensemble of deep neural networks along with data augmentation (DA) learned using effective speech-based features to recognize emotions from speech. Our ensemble model is built on three deep neural network-based models. These neural networks are built using the basic local feature acquiring blocks (LFAB) which are consecutive layers of dilated 1D Convolutional Neural networks followed by the max pooling and batch normalization layers. To acquire the long-term dependencies in speech signals further two variants are proposed by adding Gated Recurrent Unit (GRU) and Long Short Term Memory (LSTM) layers respectively. All three network models have consecutive fully connected layers before the final softmax layer for classification. The ensemble model uses a weighted average to provide the final classification. We have utilized five standard benchmark datasets: TESS, EMO-DB, RAVDESS, SAVEE, and CREMA-D for evaluation. We have performed DA by injecting Additive White Gaussian Noise, pitch shifting, and stretching the signal level to generalize the models, and thus increasing the accuracy of the models and reducing the overfitting as well. We handcrafted five categories of features: Mel-frequency cepstral coefficients, Log Mel-Scaled Spectrogram, Zero-Crossing Rate, Chromagram, and statistical Root Mean Square Energy value from each audio sample. These features are used as the input to the LFAB blocks that further extract the hidden local features which are then fed to either fully connected layers or to LSTM or GRU based on the model type to acquire the additional long-term contextual representations. LFAB followed by GRU or LSTM results in better performance compared to the baseline model. The ensemble model achieves the state-of-the-art weighted average accuracy in all the datasets.

研究动机与目标

• 通过在集成框架中结合多种深度神经网络架构，提升语音情感识别的准确率。
• 通过有效的数据增强技术（如加性白高斯噪声、音高偏移和信号拉伸）缓解过拟合并提升模型泛化能力。
• 通过一种新型局部特征获取模块（LFAB）结合空洞1D卷积、批量归一化和最大池化，从语音中提取鲁棒的局部与长期时序特征。
• 在包括TESS、EMO-DB、RAVDESS、SAVEE和CREMA-D在内的多样化标准基准数据集上评估模型性能。
• 证明混合架构（1D-CNN + LSTM/GRU）在捕捉语音情感分类的局部与序列模式方面优于独立模型。

提出的方法

• 该模型采用局部特征获取模块（LFAB），由连续的空洞1D卷积层组成，随后接最大池化和批量归一化，用于从原始音频中提取分层局部特征。
• 构建了三个不同模型：仅含全连接层的模型、含GRU的模型和含LSTM的模型，均由LFAB提取的特征处理，以建模长期依赖关系。
• 采用加权平均策略对三个模型的输出进行集成，以提升最终分类性能。
• 提取了五种手工音频特征——梅尔频率倒谱系数、对数梅尔频谱图、过零率、chromagram和均方根能量——并用作LFAB模块的输入。
• 通过加性白高斯噪声、音高偏移和时间拉伸实施数据增强，以增加训练数据多样性并减少过拟合。
• 最终分类通过在集成输出上使用Softmax层完成，模型权重通过标准反向传播进行优化。

实验结果

研究问题

• RQ1 与单一架构相比，1D-CNN、LSTM和GRU模型的集成是否能提升语音情感识别准确率？
• RQ2 将局部特征获取模块（LFAB）与空洞卷积结合，是否能增强从语音信号中提取特征的能力？
• RQ3 通过噪声注入、音高偏移和时间拉伸进行数据增强，在多大程度上能提升模型泛化能力并减少过拟合？
• RQ4 在相同的特征提取主干网络下，不同类型的循环单元（LSTM与GRU）的组合如何影响在多样化语音情感数据集上的性能？
• RQ5 所提出的集成模型是否在包括TESS、EMO-DB、RAVDESS、SAVEE和CREMA-D在内的多个基准数据集上实现了最先进性能？

主要发现

• 该集成模型在所有五个基准数据集（TESS、EMO-DB、RAVDESS、SAVEE和CREMA-D）上均实现了最先进的加权平均准确率。
• 采用LFAB后接GRU或LSTM的模型优于无循环层的基线模型，证明了建模长期时序依赖关系的重要性。
• 数据增强显著减少了过拟合，并提升了模型泛化能力，尤其在较小数据集（如SAVEE和CREMA-D）上效果明显。
• 使用手工特征——梅尔频率倒谱系数、对数梅尔频谱图、过零率、chromagram和RMS能量——被证明能有效提升模型性能。
• 加权平均集成策略有效融合了三个模型的预测结果，相比任一单一模型，实现了更鲁棒且更准确的分类。
• 该模型在RAVDESS数据集上实现了迄今报告的最高准确率，加权平均准确率超过以往最先进方法。