[论文解读] Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition

Pengfei Liu, Kun Li+1 more|arXiv (Cornell University)|Jan 17, 2022

Emotion and Mood Recognition被引用 9

一句话总结

本文提出门控双向对齐网络（GBAN），一种多模态情感识别模型，通过基于注意力的语音与文本表征双向对齐，以及一种新颖的分组门控融合（GGF）层，动态加权各模态的贡献。GBAN在IEMOCAP数据集上达到最先进性能，加权准确率达到72.39%。

ABSTRACT

Emotion recognition is a challenging and actively-studied research area that plays a critical role in emotion-aware human-computer interaction systems. In a multimodal setting, temporal alignment between different modalities has not been well investigated yet. This paper presents a new model named as Gated Bidirectional Alignment Network (GBAN), which consists of an attention-based bidirectional alignment network over LSTM hidden states to explicitly capture the alignment relationship between speech and text, and a novel group gated fusion (GGF) layer to integrate the representations of different modalities. We empirically show that the attention-aligned representations outperform the last-hidden-states of LSTM significantly, and the proposed GBAN model outperforms existing state-of-the-art multimodal approaches on the IEMOCAP dataset.

研究动机与目标

• 解决多模态情感识别中缺乏对语音与文本时序对齐的显式建模问题。
• 通过捕捉语音与文本序列之间的双向依赖关系，提升表征学习效果。
• 设计一种更高效且可解释的融合机制，动态加权不同模态的贡献。
• 在IEMOCAP基准上超越现有最先进模型，实现多模态情感识别的性能突破。

提出的方法

• 采用独立的CNN-LSTM编码器，从语音与文本模态中提取分层表征。
• 应用基于注意力的双向对齐网络，通过从语音到文本及反之的注意力机制，学习跨模态依赖关系。
• 引入分组门控融合（GGF）层，通过在分组表征（如注意力输出与隐藏状态）上应用Sigmoid门控，计算模态特定的权重。
• 采用可学习的门控机制，使模型在情感分类过程中自动确定各模态的重要性。
• 将GGF层应用于四种输入表征：语音与文本的注意力输出（a_s, a_t）及其对应的LSTM隐藏状态（h_s, h_t）。
• 在IEMOCAP数据集上采用五折交叉验证，使用交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 语音与文本之间的双向注意力对齐是否能生成比单向或无对齐更具有判别性的表征？
• RQ2 与拼接或张量融合相比，分组门控融合机制是否能更有效且可解释地整合多模态表征？
• RQ3 在多模态设置下，语音与文本模态在不同情感类别中的贡献如何变化？
• RQ4 与现有方法相比，所提出的GBAN模型是否在IEMOCAP基准上实现了最先进性能？

主要发现

• 所提出的基于双向注意力的对齐网络显著提升了表征质量，优于仅使用LSTM最后隐藏状态的模型。
• 分组门控融合（GGF）层在所有融合方法中表现最佳，在IEMOCAP数据集上实现72.39%的加权准确率。
• 文本模态表征（a_t和h_t）的融合权重始终高于语音模态表征（a_s和h_s），表明其在情感识别中具有更强的判别能力。
• GBAN在IEMOCAP上优于现有最先进模型，包括BiAtt-TFL与BiAtt-GMU，实现72.39%的加权准确率与70.08%的未加权准确率。
• GGF层提供了可解释的模态贡献权重，支持对每条预测中各模态影响力的分析。
• 即使在IEMOCAP这类小规模数据集上，GGF机制也优于简单的拼接融合，表明其具备更强的鲁棒性与表达能力。