[论文解读] Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition

Che-Wei Huang, Shrikanth Narayanan|arXiv (Cornell University)|Jun 7, 2017

Speech Recognition and Synthesis参考文献 48被引用 25

一句话总结

本文研究了在深度卷积循环神经网络中用于语音情感识别的四种卷积操作——仅频谱、仅时域、谱时域以及全频谱时域卷积。结果表明，全频谱时域卷积（FST-Conv）在噪声和干净环境下均表现出最强的鲁棒性，优于其他类型，因其能够保留情感信息的同时抑制说话人、性别等无关变化。

ABSTRACT

Deep convolutional neural networks are being actively investigated in a wide range of speech and audio processing applications including speech recognition, audio event detection and computational paralinguistics, owing to their ability to reduce factors of variations, for learning from speech. However, studies have suggested to favor a certain type of convolutional operations when building a deep convolutional neural network for speech applications although there has been promising results using different types of convolutional operations. In this work, we study four types of convolutional operations on different input features for speech emotion recognition under noisy and clean conditions in order to derive a comprehensive understanding. Since affective behavioral information has been shown to reflect temporally varying of mental state and convolutional operation are applied locally in time, all deep neural networks share a deep recurrent sub-network architecture for further temporal modeling. We present detailed quantitative module-wise performance analysis to gain insights into information flows within the proposed architectures. In particular, we demonstrate the interplay of affective information and the other irrelevant information during the progression from one module to another. Finally we show that all of our deep neural networks provide state-of-the-art performance on the eNTERFACE'05 corpus.

研究动机与目标

• 系统评估不同卷积类型在噪声和干净条件下对语音情感识别性能的影响。
• 理解每种卷积类型在表征学习过程中如何处理无关变化（如说话人、性别、噪声）的机制。
• 分析通过双向LSTM进行时序建模在提升从语音信号中提取情感信息方面的作用。
• 利用基于SVM的分析方法量化网络各模块（CNN、BLSTM、MLP）对判别能力的贡献。
• 深入理解网络深层中情感信息与非情感因素之间的信息流动与解耦机制。

提出的方法

• 提出一种深度卷积循环神经网络（DC-RNN）架构，所有模型均采用共享的双向LSTM（BLSTM）层进行时序建模。
• 在输入特征（如对数梅尔倒谱系数和MFCC）上应用四种不同的卷积类型：仅频谱（S-Conv）、仅时域（T-Conv）、谱时域（ST-Conv）以及全频谱时域（FST-Conv）。
• 使用反向传播端到端训练整个模型，联合优化特征学习与情感分类。
• 在各网络模块的激活上应用逐模块SVM分类，以定量评估各阶段的判别能力。
• 通过激活分析可视化情感、说话人和性别信息在各网络层中的演化过程。
• 开展消融实验，比较使用对数梅尔倒谱系数与MFCC的模型，以隔离特征表示和变换（如DCT）对性能的影响。

实验结果

研究问题

• RQ1 不同类型的卷积（频谱、时域、谱时域、全频谱时域）在噪声和干净条件下如何影响语音情感识别性能？
• RQ2 哪种卷积类型对噪声最鲁棒？其鲁棒性的根本原因是什么？
• RQ3 CNN、BLSTM和MLP模块在多大程度上促进了网络中情感表征的优化？
• RQ4 说话人、性别等无关因素在网络深度中如何演化并被逐步抑制？
• RQ5 为何在某些架构中，基于DCT的MFCC表示性能劣于对数梅尔特征，尽管后者被广泛使用？

主要发现

• 全频谱时域卷积（FST-Conv）在干净和噪声条件下均优于所有其他卷积类型，在eNTERFACE’05语料库上实现了最先进性能。
• 仅频谱卷积（S-Conv）对噪声最敏感，性能下降主要归因于频谱信息不足及抗噪能力差。
• CNN模块对判别能力的提升最大（27.43% ± 5.18%），其次为BLSTM模块（35.63% ± 3.61%），而MLP模块虽贡献较小但仍有实际意义（2.85% ± 2.32%）。
• 说话人和性别等无关因素在深层网络中被逐步抑制，MLP模块显著减少了此类差异，表明情感内容与非情感因素实现了有效解耦。
• S-CLDNN（对数梅尔）与LDNN（MFCC）之间的性能差距主要源于DCT在保留情感信息及将其与说话人、性别差异解耦方面的局限性。
• 时域卷积与双向LSTM循环机制具有互补优势，二者结合可构建最鲁棒的模型（FST-CLDNN），凸显了在噪声环境中联合谱时域建模的重要性。