[论文解读] A Low-rank Matching Attention based Cross-modal Feature Fusion Method for Conversational Emotion Recognition

Yuntao Shou, Liu, Huan+3 more|arXiv (Cornell University)|Jun 16, 2023

Emotion and Mood Recognition被引用 12

一句话总结

LMAM 是一个低秩跨模态融合模块，通过比自注意力显著更少的参数，高效融合文本、音频和视频特征，从而提升 CER，在嵌入到最先进的 CER 模型时提升性能。

ABSTRACT

Conversational emotion recognition (CER) is an important research topic in human-computer interactions. {Although recent advancements in transformer-based cross-modal fusion methods have shown promise in CER tasks, they tend to overlook the crucial intra-modal and inter-modal emotional interaction or suffer from high computational complexity. To address this, we introduce a novel and lightweight cross-modal feature fusion method called Low-Rank Matching Attention Method (LMAM). LMAM effectively captures contextual emotional semantic information in conversations while mitigating the quadratic complexity issue caused by the self-attention mechanism. Specifically, by setting a matching weight and calculating inter-modal features attention scores row by row, LMAM requires only one-third of the parameters of self-attention methods. We also employ the low-rank decomposition method on the weights to further reduce the number of parameters in LMAM. As a result, LMAM offers a lightweight model while avoiding overfitting problems caused by a large number of parameters. Moreover, LMAM is able to fully exploit the intra-modal emotional contextual information within each modality and integrates complementary emotional semantic information across modalities by computing and fusing similarities of intra-modal and inter-modal features simultaneously. Experimental results verify the superiority of LMAM compared with other popular cross-modal fusion methods on the premise of being more lightweight. Also, LMAM can be embedded into any existing state-of-the-art CER methods in a plug-and-play manner, and can be applied to other multi-modal recognition tasks, e.g., session recommendation and humour detection, demonstrating its remarkable generalization ability.

研究动机与目标

• 通过解决模态内和模态间交互以及高模型复杂度，推动CER的跨模态融合改进。
• 提出一个低秩匹配注意机制（LMAM）以高效融合文本、视频和音频特征。
• 证明 LMAM 可以嵌入现有 CER 模型以在降低过拟合风险的同时提升准确性。

提出的方法

• 提出 LMAM，它在模态特征之间计算行级匹配注意力，使用共享的低秩权重。
• 对权重应用低秩分解，将参数量降至自注意力的三分之一以下。
• 融合模态内和模态间的相似性，利用文本、视频和音频之间的上下文和互补信息。
• 通过三种融合策略集成 LMAM：早期融合、带残差的早期融合和晚期融合；为稳定性使用残差连接。
• 展示 LMAM 作为可即插即用的模块，适用于多种骨干网络（例如 TextCNN、bc-LSTM、DialogueRNN、DialogueGCN、MM-DFN、M2FNet、EmoCaps）。
• 给出复杂度分析，展示 LMAM 相对于自注意力在时间和参数数量上的计算优势。

实验结果

研究问题

• RQ1 LMAM 是否通过利用模态内上下文和模态间互补性来提升 CER 的跨模态融合？
• RQ2 LMAM 能否嵌入多种前沿 CER 架构以持续提升性能？
• RQ3 在基准 CER 数据集上，LMAM 相较于其他融合方法（Add、Concatenate、TFN、LFM）的准确率和 F1 如何？
• RQ4 应用 LMAM 时，使用三模态与仅单一模态对 CER 的影响如何？

主要发现

• 将 LMAM 以即插即用方式集成后，可在七个骨干CER方法上提升性能。
• 在 IEMOCAP 和 MELD 数据集上，使用 EmoCaps 骨干时，LMAM 的准确率和 F1 高于 Add、Concatenate、TFN 和 LFM（Table 4 的最佳结果：IEMOCAP Acc/F1 = 73.0/73.0；MELD Acc/F1 = 65.4/64.9）。
• 相较于自注意力，LMAM 需要的参数和训练时间显著更少（例如 LMAM 0.62M vs. Self-attention 3.42M；LMAM 17.8s vs. 58.7s 每轮）。
• 当将参数量提高到等化水平时，LMAM 的性能提升仍然存在，表明提升来自 LMAM 设计而非模型大小（Table 3）。
• 单模态结果显示文本对 CER 最强，但综合三模态可获得最佳性能（IEMOCAP 与 MELD，Table 5）。
• LMAM 的低秩权重分解在降低参数的同时维持或提高各数据集的准确性（秩研究表明秩 45 为最佳）。