[论文解读] MSAF: Multimodal Split Attention Fusion

Lang Su, Chuqing Hu+2 more|arXiv (Cornell University)|Dec 13, 2020

Emotion and Mood Recognition参考文献 54被引用 44

一句话总结

MSAF 引入了一个轻量级、按通道分组的注意力融合模块，用于将多模态特征整合到 CNN/RNN 架构中，在情感识别、情感分析和动作识别等任务上取得了强劲的结果，同时参数量较少。

ABSTRACT

Multimodal learning mimics the reasoning process of the human multi-sensory system, which is used to perceive the surrounding world. While making a prediction, the human brain tends to relate crucial cues from multiple sources of information. In this work, we propose a novel multimodal fusion module that learns to emphasize more contributive features across all modalities. Specifically, the proposed Multimodal Split Attention Fusion (MSAF) module splits each modality into channel-wise equal feature blocks and creates a joint representation that is used to generate soft attention for each channel across the feature blocks. Further, the MSAF module is designed to be compatible with features of various spatial dimensions and sequence lengths, suitable for both CNNs and RNNs. Thus, MSAF can be easily added to fuse features of any unimodal networks and utilize existing pretrained unimodal model weights. To demonstrate the effectiveness of our fusion module, we design three multimodal networks with MSAF for emotion recognition, sentiment analysis, and action recognition tasks. Our approach achieves competitive results in each task and outperforms other application-specific networks and multimodal fusion benchmarks.

研究动机与目标

• 通过强调各模态中有贡献的特征，推动多模态信号的高效融合。
• 开发一个轻量级模块，能够在使用预训练单模态权重的情况下与 CNN 和 RNN 架构协同工作。
• 在情感识别、情绪分析和动作识别数据集上展示 MSAF 的有效性。
• 为实际多模态系统提供超参数和部署方面的指导。

提出的方法

• 将每个模态的特征通道分割成大小相等的块。
• 将模态块连接成一个多模态描述符，并通过全局池化计算共享的通道描述符。
• 使用共享变换和 softmax 在块之间为每个块生成注意力，并使用正则化项 lambda 来控制抑制。
• 重新加权每个模态内的块并重新组装，以生成增强后的模态特征。
• 可选地应用 BlockDropout 以减少过拟合并提高鲁棒性。
• 通过对序列进行分段并在每个分段内应用逐块注意力，将 MSAF 扩展到 RNN。

实验结果

研究问题

• RQ1 MSAF 是否能在 CNN 和 RNN 架构中以最小的参数开销有效融合多模态特征？
• RQ2 MSAF 与情感识别、情绪分析和动作识别的最先进融合方法相比如何？
• RQ3 哪些超参数（C、r、lambda、p、q）能在各任务上优化性能和鲁棒性？

主要发现

• MSAF 在三项任务上实现与最先进方法相竞争的结果，同时参数量少于许多基线。
• 在情感识别（RAVDESS）上，MSAF 的表现优于 MMTM，同时使用的参数更少（MSAF 25.94 M 对比 MMTM 31.97 M），并在给定设定中达到 74.86% 的准确率。
• 在情绪分析（CMU-MOSEI）上，MSAF 与以往的多模态方法相当甚至超越，且架构更简单。
• 在动作识别（NTU RGB+D CS）上，结合中间和后期融合的 MSAF 实现了最先进的性能（92.24% CS）。
• BlockDropout 和 lambda 有助于缓解过度抑制和过拟合，特别是在较小的数据集上。