[论文解读] LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences

Ziwang Fu, Feng Liu+6 more|arXiv (Cornell University)|Dec 3, 2021

Emotion and Mood Recognition被引用 5

一句话总结

该论文提出 LMR-CBT，一种轻量级基于 Transformer 的模型，通过从非对齐的音频、视觉和文本序列中学习互补的模态融合表征，实现多模态情感识别。通过采用一种新颖的 CB-Transformer，结合局部时序建模、基于残差的跨模态融合以及全局自注意力机制，该方法仅使用 0.35M–0.41M 参数即实现了最先进性能，在 IEMOCAP、CMU-MOSI 和 CMU-MOSEI 上优于更大的模型。

ABSTRACT

Learning modality-fused representations and processing unaligned multimodal sequences are meaningful and challenging in multimodal emotion recognition. Existing approaches use directional pairwise attention or a message hub to fuse language, visual, and audio modalities. However, those approaches introduce information redundancy when fusing features and are inefficient without considering the complementarity of modalities. In this paper, we propose an efficient neural network to learn modality-fused representations with CB-Transformer (LMR-CBT) for multimodal emotion recognition from unaligned multimodal sequences. Specifically, we first perform feature extraction for the three modalities respectively to obtain the local structure of the sequences. Then, we design a novel transformer with cross-modal blocks (CB-Transformer) that enables complementary learning of different modalities, mainly divided into local temporal learning,cross-modal feature fusion and global self-attention representations. In addition, we splice the fused features with the original features to classify the emotions of the sequences. Finally, we conduct word-aligned and unaligned experiments on three challenging datasets, IEMOCAP, CMU-MOSI, and CMU-MOSEI. The experimental results show the superiority and efficiency of our proposed method in both settings. Compared with the mainstream methods, our approach reaches the state-of-the-art with a minimum number of parameters.

研究动机与目标

• 解决在情感识别中从非对齐多模态序列中学习有效且互补表征的挑战。
• 与成对或中心化消息枢纽注意力机制相比，减少信息冗余并提高跨模态融合效率。
• 设计一种轻量级架构，在极低参数量下保持高性能，适用于实际部署。
• 利用 BiLSTM 学习上下文语言表征，并在不引入外部消息枢纽的情况下增强特征融合。
• 在标准基准上验证该方法在对齐与非对齐设置下的表现，证明其鲁棒性与效率。

提出的方法

• 对每种模态分别进行特征提取：使用 BiLSTM 处理文本，使用 1D 卷积处理音频和视频，以捕捉局部时序结构。
• 提出一种新颖的 CB-Transformer 架构，包含三个阶段：局部时序学习、基于残差交互的跨模态特征融合，以及全局自注意力。
• 跨模态融合通过残差连接将所有三种模态的特征进行组合，避免冗余信息并保留原始表征。
• 在最终分类前，将融合后的特征与原始模态特征拼接，以增强表征丰富性。
• 模型在非对齐多模态序列上端到端训练，无需显式对齐，依赖注意力机制建模跨模态依赖关系。
• 架构在参数效率方面进行了优化，仅使用 0.35M–0.41M 参数，适用于低资源环境。

实验结果

研究问题

• RQ1 轻量级基于 Transformer 的模型能否在无需显式对齐的情况下，有效从非对齐多模态序列中学习互补表征？
• RQ2 基于残差的跨模态融合在性能与效率方面，相较于成对注意力或中心化消息枢纽方法表现如何？
• RQ3 与简单编码器（如 Conv1D）相比，使用 BiLSTM 进行语言表征在情感识别中能提升多少性能？
• RQ4 紧凑模型是否能在极低参数量下实现多模态情感识别基准上的最先进性能？
• RQ5 所提出方法在不同数据集上，面对不同对齐条件时，泛化能力如何？

主要发现

• LMR-CBT 在 IEMOCAP、CMU-MOSI 和 CMU-MOSEI 上均实现了最先进性能，非对齐设置下的 F1 分数分别为 81.0%、81.5% 和 81.2%。
• 在 CMU-MOSEI 上，LMR-CBT 仅使用 0.41M 参数即达到 81.5% 的 F1，优于 MISA（15.9M 参数）和 PMR（2.15M 参数），且参数量少一个数量级。
• 在 CMU-MOSEI 的非对齐条件下，模型准确率达到 51.8%，F1 超过 PMR（51.8%）和 MISA（52.1%），同时参数量显著更少。
• 消融实验表明，BiLSTM 相较于 Conv1D 将 F1 提升 1.4%，证实其在建模长距离语言依赖关系方面的优越性。
• 在 [V, A]->L 融合设置下性能最佳，表明语言模态最受益于视觉与音频的融合，而仅使用音频的融合效果最差。
• CB-Transformer 设计减少了冗余并保持高效，在准确率与参数效率方面均优于成对注意力与消息枢纽方法。