[论文解读] HCAM -- Hierarchical Cross Attention Model for Multi-modal Emotion Recognition

Soumya Dutta, Sriram Ganapathy|arXiv (Cornell University)|Apr 14, 2023

Emotion and Mood Recognition被引用 11

一句话总结

HCAM 提出了一种分层的多模态框架，通过共注意力模块将音频 (wav2vec) 和文本 (RoBERTa) 融合，在三个阶段中使用有监督对比损失进行训练，在 IEMOCAP、MELD 和 CMU-MOSI 上实现最先进的结果。

ABSTRACT

Emotion recognition in conversations is challenging due to the multi-modal nature of the emotion expression. We propose a hierarchical cross-attention model (HCAM) approach to multi-modal emotion recognition using a combination of recurrent and co-attention neural network models. The input to the model consists of two modalities, i) audio data, processed through a learnable wav2vec approach and, ii) text data represented using a bidirectional encoder representations from transformers (BERT) model. The audio and text representations are processed using a set of bi-directional recurrent neural network layers with self-attention that converts each utterance in a given conversation to a fixed dimensional embedding. In order to incorporate contextual knowledge and the information across the two modalities, the audio and text embeddings are combined using a co-attention layer that attempts to weigh the utterance level embeddings relevant to the task of emotion recognition. The neural network parameters in the audio layers, text layers as well as the multi-modal co-attention layers, are hierarchically trained for the emotion classification task. We perform experiments on three established datasets namely, IEMOCAP, MELD and CMU-MOSI, where we illustrate that the proposed model improves significantly over other benchmarks and helps achieve state-of-art results on all these datasets.

研究动机与目标

• 通过利用多模态信号（音频和文本）来解决对话中的情感识别问题。
• 引入一个分层的训练流程，先学习单模态的 utterance 表征，然后融合上下文，最后执行跨模态融合。
• 在跨熵之外引入有监督对比损失，以提升对难样本的学习。
• 在 IEMOCAP、MELD、CMU-MOSI 上评估该方法，并展示相较基线和先前的最先进方法的改进。
• 评估对 ASR 转录文本模态的鲁棒性。

提出的方法

• 使用一个可学习的基于 wav2vec 2.0 的前端对音频进行处理，并对跨帧的 transformer 层输出求和，然后通过一维卷积和说话级池化来得到音频嵌入。
• 使用 RoBERTa 的嵌入（最后四层）再加上一个双向 GRU 来形成 utterance 级文本嵌入，并进行全面微调。
• Stage II 使用一个带自注意力的上下文 GRU 来编码每种模态的 utterance 间上下文。
• Stage III 通过一个由跨注意力和自注意力块组成的共注意力网络来融合模态，产生联合的多模态表示。
• 训练阶段采用联合损失 Ltot = beta·CE + (1−beta)·Lsup-con，其中 Lsup-con 是在一个 batch 内的 utterances 之间的有监督对比损失。
• 推理阶段通过对音频、文本和共注意力模块的阶段输出进行加权来进行集成预测。

Figure 1 : Block diagram of the proposed model. Here, $S_{1}$ , $S_{2}$ and $S_{3}$ refer to the speech utterances in a conversation. Similarly, the $T_{1}$ , $T_{2}$ and $T_{3}$ refer to the text transcripts for the corresponding speech signals. $\hat{Y_{1}}$ , $\hat{Y_{2}}$ and $\hat{Y_{3}}$ refer

实验结果

研究问题

• RQ1 分层、阶段性训练是否通过逐步引入 utterance 级、上下文和跨模态信息来提升 ERC（情感识别在对话中的性能）？
• RQ2 共注意力是否能够在不同数据集上有效地将音频和文本模态融合用于对话情感识别？
• RQ3 引入有监督对比损失是否提升 ERC 任务的学习和性能？
• RQ4 在测试阶段，HCAM 对基于 ASR 的转录文本具有多大鲁棒性？

主要发现

• Stage I (audio) 在 IEMOCAP 的 4 类任务上实现 64.3% 的加权 F1，以及在 4 类并且 Stage I 文本对齐的表中实现 64.4%；TODAY 的数值反映了论文对各模态的报告数值。
• Stage II (contextual audio) 在 IEMOCAP 的 4 类任务上实现 78.7%；在 IEMOCAP 的 6 类任务上实现 65.7%；音频方面相比 Stage I 提升了 +14 到 +19 个百分点，跨数据集达到改进。
• Stage I (text) 在 IEMOCAP 的 4 类任务上实现 68.4%；在 CMU-MOSI 上实现 84.3%（在微调后的 RoBERTa 基嵌入下）；Stage II 文本达到 81.4%（IEMOCAP 4 类）；81.4% 和 85.4%（CMU-MOSI）。
• Stage III 多模态融合（音频+文本）达到 85.9%（IEMOCAP 4 类）；70.5%（IEMOCAP 6 类）；65.8%（MELD 7 类）；85.8%（CMU-MOSI）。
• HCAM 相较于先前工作，在 IEMOCAP、MELD、CMU-MOSI 上实现了最先进的多模态融合结果。
• 测试时的 ASR 转录在 IEMOCAP 4 类结果方面达到 84.6%，在 CMU-MOSI 上达到 65.8%，相对于原始文本结果存在一定程度的下降，但对某些设置影响较小。

Figure 2 : Block diagram of the contextual GRU with self-attention. Here, $U_{T}$ , $U_{T\pm 1}$ and $U_{T\pm 2}$ refer to the uni-modal embeddings from stage I of the model for each utterance in the conversation.