[论文解读] Advanced LSTM: A Study about Better Time Dependency Modeling in Emotion Recognition

Fei Tao, Gang Liu|arXiv (Cornell University)|Oct 27, 2017

Emotion and Mood Recognition参考文献 20被引用 8

一句话总结

本文提出了一种新型RNN变体——高级LSTM（A-LSTM），通过允许当前隐藏状态依赖于多个过去时间步（而不仅前一个时间步），增强了时间依赖性建模。当集成到加权池化RNN框架中用于情感识别时，A-LSTM相较于传统LSTM在宏F1分数上实现了5.5%的相对提升，证明了其在极小参数开销下对时序情感动态建模的优越性。

ABSTRACT

Long short-term memory (LSTM) is normally used in recurrent neural network (RNN) as basic recurrent unit. However,conventional LSTM assumes that the state at current time step depends on previous time step. This assumption constraints the time dependency modeling capability. In this study, we propose a new variation of LSTM, advanced LSTM (A-LSTM), for better temporal context modeling. We employ A-LSTM in weighted pooling RNN for emotion recognition. The A-LSTM outperforms the conventional LSTM by 5.5% relatively. The A-LSTM based weighted pooling RNN can also complement the state-of-the-art emotion classification framework. This shows the advantage of A-LSTM.

研究动机与目标

• 为解决传统LSTM仅假设当前状态依赖于前一个时间步的局限性，该局限限制了时间上下文建模能力。
• 通过使模型能够更好地捕捉长距离和非瞬时情感状态，提升语音驱动AI中的情感识别性能。
• 探究允许当前隐藏状态依赖于多个过去时间步是否能增强序列表征学习能力。
• 在适合现实世界音频应用（含停顿或非语音段）的数据驱动框架中，评估A-LSTM的实际性能。
• 评估A-LSTM是否能与当前最先进的基于深度神经网络（DNN）的情感识别系统互补。

提出的方法

• A-LSTM通过允许当前隐藏状态为多个过去时间步隐藏状态的加权组合（而非仅前一个时间步），对标准LSTM单元进行改进。
• 组合所用时间步从预定义集合 T = {5, 3, 1} 中选取，步长为2，以避免过拟合和训练不稳定性。
• 用于组合过去状态的权重通过可微分注意力机制学习，使聚合过程能自适应输入模式。
• A-LSTM被集成到加权池化RNN框架中，并采用多任务学习，最终话语表征为时间维度上隐藏状态的加权和。
• 框架使用在16kHz音频上以10ms间隔提取的z标准化36维声学特征（MFCC、ZCR、能量、频谱特征、音高、色度）
• 训练采用Adam优化器，批量大小为32，dropout率为0.5，模型在IEMOCAP数据集上通过宏F1分数（MAF）、宏精确率（MAP）和准确率进行评估。

实验结果

研究问题

• RQ1 放宽当前状态仅依赖于前一个时间步的假设，是否能提升RNN在情感识别中的时间建模能力？
• RQ2 允许当前隐藏状态关注多个过去时间步，是否能提升序列情感分类的性能？
• RQ3 在IEMOCAP数据集上，A-LSTM与传统LSTM在加权池化RNN框架中的情感识别性能如何比较？
• RQ4 A-LSTM是否能与当前最先进的DNN框架互补，尤其在低资源或真实世界场景中？
• RQ5 A-LSTM的性能提升是源于更好的时间上下文建模，还是仅仅因为池化层中看到了更多时间步？

主要发现

• A-LSTM在宏F1分数（MAF）上相较传统LSTM实现了5.5%的相对提升，MAF从43.8%提升至46.2%。
• 该提升归因于A-LSTM增强的时间依赖性建模能力，而非仅因感受野扩大，因为加权池化层已能访问所有时间步。
• 使用可学习的注意力权重组合过去状态，显著优于固定权重平均（如均值LSTM），表明自适应机制至关重要。
• 尽管参数量（≈58M）与DNN基线（≈58M）相当，但A-LSTM的RNN框架仍实现了具有竞争力的性能，并可在融合中与DNN互补，将准确率提升至58.7%。
• A-LSTM的RNN框架性能低于DNN基线（56.9% MAF vs. 46.2% MAF），但此差异归因于IEMOCAP数据集中训练数据有限及话语段已良好分割，并非模型本身存在缺陷。
• RNN与DNN框架的融合实现了最佳性能（58.2% MAF），表明基于A-LSTM的RNN能有效与DNN互补，适用于实际应用。