[论文解读] Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network

Wenxiang Jiao, Michael R. Lyu+1 more|arXiv (Cornell University)|Nov 20, 2019

Topic Modeling参考文献 21被引用 13

一句话总结

本文提出了一种用于对话中实时情绪识别的注意力门控分层记忆网络（AGHMN），采用基于双向GRU的分层记忆网络（HMN）捕捉话语内与话语间上下文，并通过注意力GRU（AGRU）在记忆总结过程中保持位置顺序。该模型在两个基准数据集上实现了最先进性能，显著优于先前方法。

ABSTRACT

Real-time emotion recognition (RTER) in conversations is significant for developing emotionally intelligent chatting machines. Without the future context in RTER, it becomes critical to build the memory bank carefully for capturing historical context and summarize the memories appropriately to retrieve relevant information. We propose an Attention Gated Hierarchical Memory Network (AGHMN) to address the problems of prior work: (1) Commonly used convolutional neural networks (CNNs) for utterance feature extraction are less compatible in the memory modules; (2) Unidirectional gated recurrent units (GRUs) only allow each historical utterance to have context before it, preventing information propagation in the opposite direction; (3) The Soft Attention for summarizing loses the positional and ordering information of memories, regardless of how the memory bank is built. Particularly, we propose a Hierarchical Memory Network (HMN) with a bidirectional GRU (BiGRU) as the utterance reader and a BiGRU fusion layer for the interaction between historical utterances. For memory summarizing, we propose an Attention GRU (AGRU) where we utilize the attention weights to update the internal state of GRU. We further promote the AGRU to a bidirectional variant (BiAGRU) to balance the contextual information from recent memories and that from distant memories. We conduct experiments on two emotion conversation datasets with extensive analysis, demonstrating the efficacy of our AGHMN models.

研究动机与目标

• 解决先前实时情绪识别模型使用单向RNN和软注意力机制所存在的局限性，这些方法无法捕捉双向上下文，且在记忆总结过程中丢失位置顺序。
• 通过在分层记忆架构中用双向GRU替代CNN，改进话语级特征表示。
• 设计一种记忆总结机制，保留历史话语的位置与顺序信息，克服软注意力机制的“记忆袋”问题。
• 通过消融研究与可视化分析，在真实世界情绪对话数据集上评估所提出AGHMN模型的有效性。

提出的方法

• 提出一种分层记忆网络（HMN），采用双向GRU（BiGRU）作为话语阅读器，用于建模每个话语内的词序列，相比CNN在特征提取方面表现更优。
• 引入一个BiGRU融合层，用于建模历史话语之间的交互，实现双向上下文流动，提升记忆表征的丰富性。
• 设计一种注意力GRU（AGRU），利用查询到记忆的注意力权重更新GRU的内部状态，从而在记忆总结过程中保持位置顺序。
• 将AGRU扩展为双向变体（BiAGRU），以平衡近期与远期记忆的上下文信息。
• 采用上下文窗口机制，构建大小为K的动态记忆库，K的最优值在各数据集上通过实验确定。
• 采用两级记忆层次结构：词到话语（通过BiGRU）与话语到对话（通过BiGRU融合），形成分层记忆库。

实验结果

研究问题

• RQ1 基于双向GRU的语句阅读器是否在学习情绪识别的话语级特征方面优于卷积神经网络？
• RQ2 与单向RNN相比，双向融合层是否能更好地建模话语间关系？
• RQ3 注意力门控GRU（AGRU）是否能比软注意力更好地保留记忆总结中的位置与顺序信息？
• RQ4 AGRU的双向变体（BiAGRU）是否相比单向AGRU提供更优的上下文平衡？
• RQ5 上下文窗口大小K如何影响模型性能？不同对话动态下的最优窗口大小是什么？

主要发现

• 所提出的AGHMN模型在IEMOCAP与MELD两个数据集上均达到最先进性能，显著优于现有方法。
• 基于BiGRU的语句阅读器表现一致优于基于CNN的阅读器，表明其与分层记忆结构具有更强的兼容性。
• BiF-AGRU模型表现最佳，IEMOCAP数据集的最优上下文窗口大小为K=40，MELD数据集为K=5，与平均对话长度一致。
• 消融研究证实，BiGRU融合层与AGRU机制均对性能提升有显著贡献，且即使在单向记忆库中，AGRU也优于软注意力机制。
• 可视化结果表明，BiAGRU相比软注意力或单向AGRU能捕捉更全面的上下文线索，尤其在复杂情绪动态中表现更优。
• 模型在处理情绪转变方面表现出鲁棒性，但在MELD数据集中对少数类别（如‘厌恶’）的性能仍有限，表明未来可通过更多数据或多模态特征进一步改进。