[论文解读] MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

Devamanyu Hazarika, Roger Zimmermann+1 more|arXiv (Cornell University)|May 7, 2020

Humor Studies and Applications被引用 62

一句话总结

MISA 学习每种模态的模态不变表示和模态特定表示，并使用基于 Transformer 的融合来提升多模态情感分析和幽默检测，在 MOSI、MOSEI 和 UR_FUNNY 上达到 state-of-the-art 结果。

ABSTRACT

Multimodal Sentiment Analysis is an active area of research that leverages multimodal signals for affective understanding of user-generated videos. The predominant approach, addressing this task, has been to develop sophisticated fusion techniques. However, the heterogeneous nature of the signals creates distributional modality gaps that pose significant challenges. In this paper, we aim to learn effective modality representations to aid the process of fusion. We propose a novel framework, MISA, which projects each modality to two distinct subspaces. The first subspace is modality-invariant, where the representations across modalities learn their commonalities and reduce the modality gap. The second subspace is modality-specific, which is private to each modality and captures their characteristic features. These representations provide a holistic view of the multimodal data, which is used for fusion that leads to task predictions. Our experiments on popular sentiment analysis benchmarks, MOSI and MOSEI, demonstrate significant gains over state-of-the-art models. We also consider the task of Multimodal Humor Detection and experiment on the recently proposed UR_FUNNY dataset. Here too, our model fares better than strong baselines, establishing MISA as a useful multimodal framework.

研究动机与目标

• 通过解决模态差异和异质性来推动多模态情感分析中更好的融合。
• 提出一种表示学习框架，使模态信息分解为不变子空间和特定子空间。
• 证明不变+特定表示在与简单的注意力机制融合后能提升预测。
• 在情感分析（MOSI/MOSEI）和幽默检测（UR_FUNNY）上显示跨领域的有效性。

提出的方法

• 将每个模态的 utterance 投影到两个子空间：一个共享的模态不变空间和一个模态特异的私有空间。
• 对不变编码器在模态间使用共享参数，并对每个模态使用模态特异编码器。
• 通过简单前馈编码器，将每种模态表示为六个向量（三个不变、三个特定）。
• 用自注意力 Transformer 对拼接后的表示进行融合，产生用于预测的联合表示。
• 以复合损失进行训练：任务损失加上相似性 (CMD) 损失以对齐不变表示、差异性（正交性）损失以保证非冗余，以及重建损失以保留模态细节。
• 损失项：L = L_task + α L_sim + β L_diff + γ L_recon，其中 L_sim 使用 CMD，L_diff 强制正交，L_recon 重建输入。

实验结果

研究问题

• RQ1 学习模态不变表示是否能够降低模态差距并提升多模态情感分析中的融合性能？
• RQ2 增加模态特定表示是否提供互补信息，在与不变特征融合时提升预测？
• RQ3 是否仅需一个简单的基于 Transformer 的融合就能有效利用不变和特定表示实现情感分析与幽默检测的准确预测？
• RQ4 与状态-of-the-art 基线相比，MISA 在标准 MSA 基准（MOSI、MOSEI）和幽默检测（UR_FUNNY）上表现如何？

主要发现

• 在 MOSI 和 MOSEI 的回归与分类指标上，MISA 取得了与先前模型相比的最先进性能。
• GloVe 和 BERT 的语言特征在 MISA 下都受益，通常 BERT 相较于 GloVe 能带来更好表现。
• 在 UR_FUNNY 上，使用 GloVe 和 BERT 特征的 MISA 均优于强基线，显示多模态幽默检测的有效性。
• 消融研究显示去除 L_sim、L_diff 或 L_recon 会降低性能，证实了每个组件的效用。
• 与 MOSEI 的 SOTA ICCN 和 MHD 的 C-MFN 相比，MISA 在多项指标上提供了具竞争力的提升。
• 该模型在 utterance 级别运作，甚至可超越一些更复杂的融合方法，强调在融合前进行表示学习的价值。