[论文解读] AcoustEmo: Open-Vocabulary Emotion Reasoning via Utterance-Aware Acoustic Q-Former

Liyun Zhang, Xuanmeng Sha+2 more|arXiv (Cornell University)|Mar 21, 2026

Emotion and Mood Recognition被引用 0

一句话总结

AcoustEmo 引入一个带时间戳同步滑窗的 utterance-aware 声学 Q-Former，用于提取分段级音频令牌，支持 MLLMs 的细粒度开放词汇情感推理；在 EMER-Fine 上优于基线。

ABSTRACT

Multimodal Large Language Models (MLLMs) excel in Open-Vocabulary (OV) emotion recognition but often neglect fine-grained acoustic modeling. Existing methods typically use global audio encoders, failing to capture subtle, local temporal dynamics like micro-prosody and intonation shifts within individual utterances. To address this, we propose AcoustEmo, a time-sensitive MLLM featuring a novel Utterance-Aware Acoustic Q-Former. Our approach utilizes a timestamp-synchronized sliding window to dynamically extract segment-level audio tokens instead of coarse global representations. This enables the model to explicitly trace the temporal evolution of subtle acoustic clues and capture deep contextual dependencies in dialogues. Experiments on the Explainable Multimodal Emotion Recognition (EMER) task show that AcoustEmo significantly enhances complex emotion reasoning, outperforming baselines while maintaining robust contextual accuracy.

研究动机与目标

• 解决全局音频编码器在情感推理中错过微观语调和局部时间动态的局限性。
• 开发一个 utterance-aware 的声学 Q-Former，用于提取与转录时间戳对齐的分段级令牌。
• 将细粒度声学令牌与视觉和文本模态整合，支持 MLLMs 的开放词汇情感推理。
• 在 EMER 任务上评估，以证明相对于现有基线的改进。

提出的方法

• 用 Utterance-Aware Acoustic Q-Former 取代全局音频编码器，对每个 utterance 的声学片段进行处理。
• 使用与时间戳同步的滑窗，从帧级音频特征中为每个 utterance i 提取 F_A^i。
• 在 cross-attention 中使用可学习查询 Q，以提炼每个 utterance 的显著微 prosodic 细节。
• 将全局声学令牌与 utterance-specific 令牌合并为 T_A，并与视觉令牌 T_V 及指令令牌 T_Lq 拼接用于 LLM 推理。
• 在 LLaMA-2 主框架上使用 LoRA 微调，同时冻结视觉/声学编码器。

实验结果

研究问题

• RQ1 utterance 级、时间戳对齐的声学表示是否能提升 MLLMs 的开放词汇情感推理？
• RQ2 局部声学动态（微观语调）是否比全局音频池化对情感推理贡献更大？
• RQ3 时间戳同步如何影响声学线索与文本 utterances 在 EMER 任务中的对齐？

主要发现

• AcoustEmo 在 EMER-Fine 上的 Avg 得分为 67.55，Accuracy 为 65.40，Recall 为 70.15。
• AcoustEmo 超越了许多基线，包括 AffectGPT 和 MicroEmo，并在不同设置下接近或超越若干视频为主/音频为主的模型。
• 消融实验显示去除 Utterance-Aware Acoustic Q-Former 后 Avg 降至 61.20，凸显局部声学动态的重要性。
• 用固定的 2s 窗口替代时间戳同步滑窗会使 Avg 降至 62.85，显示对精准 utterance 对齐的需求。
• 去除 Global Acoustic Q-Former 会使 Avg 降至 64.10，表明全局上下文仍提供有用的背景信息。