[论文解读] Gated Recurrent Unit (GRU) for Emotion Classification from Noisy Speech

Rajib Rana|arXiv (Cornell University)|Dec 13, 2016

Speech and Audio Processing被引用 94

一句话总结

本文研究了门控循环单元（GRU）在嘈杂环境下的语音情感分类应用，表明GRU在准确率上与长短期记忆（LSTM）网络相当，同时将运行时间减少了18.16%，因此在资源受限设备（如智能手机）上实现实时部署方面极具优势。

ABSTRACT

Despite the enormous interest in emotion classification from speech, the impact of noise on emotion classification is not well understood. This is important because, due to the tremendous advancement of the smartphone technology, it can be a powerful medium for speech emotion recognition in the outside laboratory natural environment, which is likely to incorporate background noise in the speech. We capitalize on the current breakthrough of Recurrent Neural Network (RNN) and seek to investigate its performance for emotion classification from noisy speech. We particularly focus on the recently proposed Gated Recurrent Unit (GRU), which is yet to be explored for emotion recognition from speech. Experiments conducted with speech compounded with eight different types of noises reveal that GRU incurs an 18.16% smaller run-time while performing quite comparably to the Long Short-Term Memory (LSTM), which is the most popular Recurrent Neural Network proposed to date. This result is promising for any embedded platform in general and will initiate further studies to utilize GRU to its full potential for emotion recognition on smartphones.

研究动机与目标

• 评估门控循环单元（GRU）在语音情感分类中的表现，特别是在以往研究多集中于干净语音的领域。
• 解决真实世界语音情感识别中背景噪声的挑战，尤其是在移动设备和嵌入式环境中的应用。
• 在各种真实噪声条件下，对比GRU与广泛使用的LSTM架构在准确率和计算效率方面的表现。
• 评估GRU对噪声的鲁棒性及其在电池供电的嵌入式平台（如智能手机）上部署的潜力。

提出的方法

• 作者采用基于GRU的深度学习模型对语音序列进行情感分类，利用其门控机制捕捉长距离时间依赖性。
• 通过将八种真实世界噪声类型（如咖啡馆、河流、交通和洗衣机噪声）叠加到干净语音样本上，合成嘈杂语音数据。
• 使用标准交叉熵损失函数和Softmax输出进行模型训练与评估，性能通过分类准确率和运行时间衡量。
• 运行时间在一台2 GHz Intel Core i7 MacBook（8 GB RAM）上测量，采用五次运行的中位数以减少方差。
• 以LSTM作为基准模型，对比其准确率和计算效率，所有超参数保持一致（例如，初始学习率 = 1，偏差项 = False，单个单元层）。
• 研究在所有噪声类型及干净条件下的性能表现，分析准确率与运行时间之间的权衡。

实验结果

研究问题

• RQ1 与当前序列建模的主流标准LSTM相比，GRU在从嘈杂语音中进行情感分类时表现如何？
• RQ2 不同真实世界噪声类型（如咖啡馆、河流、洗衣机）对GRU分类准确率有何影响？
• RQ3 在相同的训练和推理条件下，GRU的运行时间与LSTM相比如何？
• RQ4 GRU是否比基于干净数据训练的模型更具噪声鲁棒性？其在嘈杂环境中的泛化能力是否更优？
• RQ5 GRU能否在显著降低计算成本的前提下实现具有竞争力的准确率，从而具备在移动设备上实现实时部署的可行性？

主要发现

• 在大多数噪声条件下，GRU的分类准确率与LSTM相当，最坏情况下差异不超过1.75%。
• 在洗衣机噪声条件下，GRU的准确率比LSTM高出1.75%，表明其对周期性、非连续性噪声具有更好的处理能力。
• 在河流和咖啡馆噪声条件下，LSTM分别比GRU高出6.4%和4.6%的准确率，表明GRU在处理连续、复杂噪声时存在局限性。
• 在相同硬件上，GRU的运行时间比LSTM减少18.16%，显著提升了计算效率。
• 总体而言，GRU对噪声表现出良好的鲁棒性，综合噪声条件下的错误率甚至低于干净条件，表明噪声具有一定的正则化效应。
• 结果表明，GRU凭借其优越的准确率-运行时间权衡，是移动平台实现实时情感识别的有力候选方案。