[论文解读] Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning

Zebang Cheng, Zhi-Qi Cheng+7 more|arXiv (Cornell University)|Jun 17, 2024

Emotion and Mood Recognition被引用 10

一句话总结

Emotion-LLaMA 通过情感特定编码器和指令微调，将音频、视觉和文本输入整合，实现在多模态情感识别与推理的最先进水平。它使用 MERR 数据集进行预训练，在 EMER、MER2023 和 DFEW 上展现出强劲的零-shot 与微调性能。

ABSTRACT

Accurate emotion perception is crucial for various applications, including human-computer interaction, education, and counseling. However, traditional single-modality approaches often fail to capture the complexity of real-world emotional expressions, which are inherently multimodal. Moreover, existing Multimodal Large Language Models (MLLMs) face challenges in integrating audio and recognizing subtle facial micro-expressions. To address this, we introduce the MERR dataset, containing 28,618 coarse-grained and 4,487 fine-grained annotated samples across diverse emotional categories. This dataset enables models to learn from varied scenarios and generalize to real-world applications. Furthermore, we propose Emotion-LLaMA, a model that seamlessly integrates audio, visual, and textual inputs through emotion-specific encoders. By aligning features into a shared space and employing a modified LLaMA model with instruction tuning, Emotion-LLaMA significantly enhances both emotional recognition and reasoning capabilities. Extensive evaluations show Emotion-LLaMA outperforms other MLLMs, achieving top scores in Clue Overlap (7.83) and Label Overlap (6.25) on EMER, an F1 score of 0.9036 on MER2023-SEMI challenge, and the highest UAR (45.59) and WAR (59.37) in zero-shot evaluations on DFEW dataset.

研究动机与目标

• 在现实世界的多模态场景中推动更准确的情感感知，超越单模态方法。
• 提供一个大规模且多样化的数据集（MERR），包含粗粒度和细粒度情感标注，用于训练多模态情感模型。
• 提出 Emotion-LLaMA，通过情感特征编码器和指令微调融合音频、视觉和文本输入。
• 提升在多个基准上的情感识别准确性和推理能力。

提出的方法

• 构建包含 28,618 个粗粒度样本和 4,487 个细粒度样本、覆盖多样情感的 MERR 数据集。
• 以 HuBERT 作为音频编码器，使用多视角视觉编码器（MAE、VideoMAE、EVA）提取互补的视觉特征。
• 通过可训练的线性投影将音频和视觉特征对齐到共享空间，以语言嵌入标记表示。
• 将改造后的 LLaMA 语言模型结合指令微调，用于执行多模态推理和生成。
• 在从粗到细的训练阶段，先在 MERR 上进行预训练，然后在 MER2023 和 DFEW 上进行多模态指令微调。

实验结果

研究问题

• RQ1 情感特定的多模态编码器是否能在识别和推理方面超越现有的多模态大语言模型？
• RQ2 使用多样化、带标注的多模态情感数据集进行指令微调，是否能提升零-shot 和微调性能？
• RQ3 音频和多视角视觉线索如何促进对情感的稳健理解与推理？
• RQ4 与其他数据相比，在 MERR 上进行预训练对下游情感任务的影响如何？

主要发现

• Emotion-LLaMA 在 EMER 上实现最高的 Clue Overlap（7.83）和 Label Overlap（6.25）。
• 在 MER2023 数据集上达到 F1 得分 0.9036。
• 在零-shot 的 DFEW 评估中，达到最高的 UAR（45.59）和 WAR（59.37）。
• 在 MER2023 上，使用 A+V+T 模态时，F1 提升至 0.9036。
• 在多项基准测试中，Emotion-LLaMA 优于其他 MLLMs。
• 该模型仅使用 34M 个可训练参数（约占总数的 0.495%），并具高效微调。