[论文解读] Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition

Wenliang Dai, Zihan Liu+2 more|arXiv (Cornell University)|Sep 21, 2020

Sentiment Analysis and Opinion Mining参考文献 40被引用 4

一句话总结

本文提出了一种适用于低资源多模态情感识别的模态可迁移模型，该模型使用预训练的GloVe嵌入来表示情感类别，并学习映射函数，将这些嵌入迁移至声学和视觉空间。通过测量跨模态输入表示与情感嵌入之间的距离，该模型实现了最先进性能，并实现了对未见情感的有效零样本和少样本识别。

ABSTRACT

Despite the recent achievements made in the multi-modal emotion recognition task, two problems still exist and have not been well investigated: 1) the relationship between different emotion categories are not utilized, which leads to sub-optimal performance; and 2) current models fail to cope well with low-resource emotions, especially for unseen emotions. In this paper, we propose a modality-transferable model with emotion embeddings to tackle the aforementioned issues. We use pre-trained word embeddings to represent emotion categories for textual data. Then, two mapping functions are learned to transfer these embeddings into visual and acoustic spaces. For each modality, the model calculates the representation distance between the input sequence and target emotions and makes predictions based on the distances. By doing so, our model can directly adapt to the unseen emotions in any modality since we have their pre-trained embeddings and modality mapping functions. Experiments show that our model achieves state-of-the-art performance on most of the emotion categories. In addition, our model also outperforms existing baselines in the zero-shot and few-shot scenarios for unseen emotions.

研究动机与目标

• 解决多模态情感识别中缺乏对情感间关系建模的问题，该问题导致性能次优。
• 应对低资源情感识别的挑战，特别是针对罕见或未见的情感类别。
• 通过利用预训练的情感嵌入和模态迁移，实现对未见情感的零样本和少样本学习。
• 通过跨模态共享语义知识的端到端学习，提升低资源场景下的泛化能力和鲁棒性。

提出的方法

• 使用预训练的GloVe嵌入作为文本模态中情感类别的语义表示。
• 学习两个映射函数 $f_{t\rightarrow a}$ 和 $f_{t\rightarrow v}$，将文本情感嵌入投影到声学和视觉空间。
• 对于每种模态，计算输入序列表示与目标情感嵌入之间的距离以进行预测。
• 使用可学习的注意力机制融合所有模态的距离，生成最终的情感预测。
• 通过直接应用相同流程并利用其预训练嵌入，实现未见情感类别的零样本推理。
• 通过联合训练和持续学习支持少样本适应，防止对已见类别发生灾难性遗忘。

Figure 1: An intuitive example of our method. In the upper image, the relative positions of GloVe emotion embeddings ( happy , surprised ) are shown in the textual space, which are then projected to acoustic and visual spaces by two mapping functions ( $f_{t\rightarrow a}$ and $f_{t\rightarrow v}$ )

实验结果

研究问题

• RQ1 通过共享语义嵌入建模情感间关系，能否提升多模态情感识别性能？
• RQ2 在没有任何标注训练数据的情况下，模型对未见情感类别的泛化能力在多大程度上得以实现？
• RQ3 在仅提供极少数据的低资源情感场景下，所提方法的有效性如何？
• RQ4 模态特异性性能是否存在差异？在某些情况下，单模态零样本预测是否能优于多模态设置？

主要发现

• 所提模型在IEMOCAP和CMU-MOSEI数据集的大多数情感类别上实现了最先进性能。
• 在IEMOCAP数据集上，该模型仅使用声学和视觉模态即实现了89.1%的零样本准确率，优于多模态基线模型。
• 在少样本学习中，采用联合训练（JT）的模型仅使用1%的训练数据，即在未见情感类别“surprise”上达到86.1%的准确率。
• 在少样本场景下，该模型优于微调基线模型，因为微调会导致灾难性遗忘和性能下降。
• 当某种情感在某一模态中具有强判别性线索时（如声学模态中的“surprise”），单模态零样本预测可超越多模态设置的性能。
• 消融实验表明，文本模态和声学模态的贡献大于视觉模态，且模态融合在所有设置下均能持续提升性能。

Figure 2: The architecture of our proposed multi-modal emotion recognition model. It consists of three LSTM networks, one emotion embedding mapping module, and one modality fusion module. For each modality, the input is a sequence of length $T$ . Each modality has a set of emotion embeddings by mapp