[论文解读] MTGAT: Multimodal Temporal Graph Attention Networks for Unaligned Human Multimodal Language Sequences.

Jianing Yang, Yongxin Wang+6 more|arXiv (Cornell University)|Oct 22, 2020

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

MTGAT 提出了一种新颖的基于图的神经网络，通过将未对齐的多模态人类语言序列转换为异构时间图，利用具有动态剪枝的多模态时间图注意力机制，聚焦于显著的交互作用。该方法在 IEMOCAP 和 CMU-MOSI 数据集上实现了最先进性能，同时计算成本更低。

ABSTRACT

Human communication is multimodal in nature; it is through multiple modalities, i.e., language, voice, and facial expressions, that opinions and emotions are expressed. Data in this domain exhibits complex multi-relational and temporal interactions. Learning from this data is a fundamentally challenging research problem. In this paper, we propose Multimodal Temporal Graph Attention Networks (MTGAT). MTGAT is an interpretable graph-based neural model that provides a suitable framework for analyzing this type of multimodal sequential data. We first introduce a procedure to convert unaligned multimodal sequence data into a graph with heterogeneous nodes and edges that captures the rich interactions between different modalities through time. Then, a novel graph operation, called Multimodal Temporal Graph Attention, along with a dynamic pruning and read-out technique is designed to efficiently process this multimodal temporal graph. By learning to focus only on the important interactions within the graph, our MTGAT is able to achieve state-of-the-art performance on multimodal sentiment analysis and emotion recognition benchmarks including IEMOCAP and CMU-MOSI, while utilizing significantly fewer computations.

研究动机与目标

• 为解决建模人类交流中复杂且未对齐的多模态交互（如语言、语音和面部表情）的挑战。
• 开发一种框架，以捕捉序列数据中多模态之间的丰富时间动态与关系动态。
• 设计一种基于图的架构，实现在多模态交互上的可解释注意力机制，同时降低计算开销。

提出的方法

• 将未对齐的多模态序列转换为异构图，其中节点代表不同模态，边编码时间关系与跨模态关系。
• 提出多模态时间图注意力机制，一种新颖的图操作，可学习图边上动态的注意力权重，以突出重要交互。
• 在推理过程中应用动态剪枝机制，移除低重要性的边，从而降低计算复杂度，同时不损失性能。
• 使用读出机制将图表示聚合为统一的多模态嵌入，用于下游任务。
• 采用针对情感分析与情绪识别定制的损失函数，端到端训练模型。
• 利用注意力机制，解释哪些模态和时间步长对预测贡献最大。

实验结果

研究问题

• RQ1 如何将未对齐的多模态人类序列有效建模为图结构，以保留时间依赖与跨模态依赖？
• RQ2 何种基于图的注意力机制能够实现对多模态数据中显著交互的高效且可解释的关注？
• RQ3 动态剪枝在多大程度上可降低计算成本，同时保持多模态理解的高性能？
• RQ4 所提出的模型是否能在多模态情感与情绪识别基准上超越现有方法？

主要发现

• MTGAT 在 IEMOCAP 基准上实现了多模态情感分析的最先进性能。
• 该模型在 CMU-MOSI 数据集上取得了多模态情绪识别的新最先进结果。
• 尽管性能优异，MTGAT 因动态剪枝机制，其计算量显著低于先前模型。
• MTGAT 中的注意力机制提供了对哪些模态和时间区间对预测最具影响力之可解释洞察。
• 基于图的表示有效捕捉了未对齐模态之间复杂的多关系交互。
• 动态剪枝策略在保持预测准确性的前提下，显著降低了计算负载。