[论文解读] MAFW: A Large-scale, Multi-modal, Compound Affective Database for Dynamic Facial Expression Recognition in the Wild

Yuanyuan Liu, Wei Dai+5 more|arXiv (Cornell University)|Aug 1, 2022

Emotion and Mood Recognition被引用 4

一句话总结

该论文提出了MAFW，一个大规模、真实场景下的多模态数据库，包含10,045段视频-音频片段，并对复合情绪和情感行为进行了标注。该研究提出了一种新型基于Transformer的方法T-ESFL，通过建模跨模态的表情变化关系，提升了动态面部表情识别的性能，在单模态和多模态FER任务上均优于当前最先进方法。

ABSTRACT

Dynamic facial expression recognition (FER) databases provide important data support for affective computing and applications. However, most FER databases are annotated with several basic mutually exclusive emotional categories and contain only one modality, e.g., videos. The monotonous labels and modality cannot accurately imitate human emotions and fulfill applications in the real world. In this paper, we propose MAFW, a large-scale multi-modal compound affective database with 10,045 video-audio clips in the wild. Each clip is annotated with a compound emotional category and a couple of sentences that describe the subjects' affective behaviors in the clip. For the compound emotion annotation, each clip is categorized into one or more of the 11 widely-used emotions, i.e., anger, disgust, fear, happiness, neutral, sadness, surprise, contempt, anxiety, helplessness, and disappointment. To ensure high quality of the labels, we filter out the unreliable annotations by an Expectation Maximization (EM) algorithm, and then obtain 11 single-label emotion categories and 32 multi-label emotion categories. To the best of our knowledge, MAFW is the first in-the-wild multi-modal database annotated with compound emotion annotations and emotion-related captions. Additionally, we also propose a novel Transformer-based expression snippet feature learning method to recognize the compound emotions leveraging the expression-change relations among different emotions and modalities. Extensive experiments on MAFW database show the advantages of the proposed method over other state-of-the-art methods for both uni- and multi-modal FER. Our MAFW database is publicly available from https://mafw-database.github.io/MAFW.

研究动机与目标

• 解决现有动态面部表情数据库仅使用基本且互斥情绪、单一模态的局限性。
• 构建一个大规模、真实场景下的多模态数据库，包含反映现实世界情感复杂性的复合情绪标注。
• 通过建模视觉、音频和文本模态间的情绪表达变化动态，开发一种鲁棒的复合情绪识别方法。
• 通过提供高质量、多模态且富含上下文信息的数据，推动情感计算领域的新研究。

提出的方法

• 提出MAFW，一个大规模、真实场景下的多模态数据库，包含10,045段视频-音频片段和20,000条文本情感描述。
• 使用期望最大化（EM）算法过滤不可靠标注，最终得到11种单标签和32种多标签情绪类别。
• 提出一种新型基于Transformer的表情片段特征学习方法（T-ESFL），用于建模跨模态的表情变化关系。
• 采用基于片段的Transformer结合空间-频谱顺序重建（SSOR）方法进行视觉特征学习，使用ResNet_LSTM处理音频，使用DPCNN处理文本。
• 通过拼接各模态特征求得多模态情感表示。
• 采用联合目标函数优化模型，结合交叉熵损失和片段顺序重建损失，以增强时序动态建模能力。

实验结果

研究问题

• RQ1 一个包含复合情绪标注的大规模、真实场景下的多模态数据库，是否能提升动态面部表情识别的现实感与复杂性？
• RQ2 与当前最先进方法相比，所提出的T-ESFL方法在单模态和多模态设置下识别复合情绪的性能如何？
• RQ3 跨模态的表情变化关系在多大程度上提升了动态FER的识别性能？
• RQ4 MAFW数据库能否支持下游任务（如视频情感描述生成），并提供高质量、富含上下文信息的描述？

主要发现

• 所提出的T-ESFL方法在单模态和多模态动态面部表情识别任务上均达到最先进性能，在MAFW数据集上优于现有方法。
• 使用现成模型进行视频情感描述生成，BLEU-4达到9.09，METEOR达到15.49，CIDEr达到23.40，表明MAFW在自然语言生成任务中的实用性。
• 基于EM的过滤过程成功降低了标注噪声，得到11种单标签和32种多标签情绪类别，具有高可靠性。
• 定性分析表明，模型生成的情感描述与真实标签高度一致，能够捕捉细微的情感行为和上下文线索。
• MAFW数据库已公开发布于 https://mafw-database.github.io/MAFW，推动情感计算领域更广泛的研究。
• 该数据集表现出极低的种族/性别偏见，性别统计信息基于CelebA推断，仅用于数据分布分析，未用于模型训练。