[论文解读] AdaLTM: Adaptive Layer-wise Task Vector Merging for Categorical Speech Emotion Recognition with ASR Knowledge Integration

Chia-Yu Lee, Huang-Cheng Chou+5 more|arXiv (Cornell University)|Mar 26, 2026

Emotion and Mood Recognition被引用 0

一句话总结

AdaLTM 通过自适应分层合并任务向量，将 in-domain 的 ASR 知识融入 SER，在冻结的 WavLM 主干上实现高效适配，显著降低梯度冲突与领域错配；在 MSP-Podcast 上实现接近 SOTA 的 UAR。

ABSTRACT

Integrating Automatic Speech Recognition (ASR) into Speech Emotion Recognition (SER) enhances modeling by providing linguistic context. However, conventional feature fusion faces performance bottlenecks, and multi-task learning often suffers from optimization conflicts. While task vectors and model merging have addressed such conflicts in NLP and CV, their potential in speech tasks remains largely unexplored. In this work, we propose an Adaptive Layer-wise Task Vector Merging (AdaLTM) framework based on WavLM-Large. Instead of joint optimization, we extract task vectors from in-domain ASR and SER models fine-tuned on emotion datasets. These vectors are integrated into a frozen base model using layer-wise learnable coefficients. This strategy enables depth-aware balancing of linguistic and paralinguistic knowledge across transformer layers without gradient interference. Experiments on the MSP-Podcast demonstrate that the proposed approach effectively mitigates conflicts between ASR and SER.

研究动机与目标

• 将 ASR 知识整合进 SER，以利用语言上下文，同时避免联合训练带来的优化冲突。
• 提出一种权重空间、分层的任务向量合并框架，在不产生梯度干涉的前提下融合 ASR 与 SER 信息。
• 证明在同领域的 ASR 知识相较于域外源能为 MSP-Podcast 的 SER 提供更优的对齐效果。

提出的方法

• 从 MSP-Podcast 上微调的同领域 ASR 与 SER 模型中提取任务向量（ΔW_ASR, ΔW_SER）。
• 使用分层可学习系数 λ^(l) 将这些向量合并到冻结的 WavLM-Large 主干，形成 θ_merged^(l) = θ_base^(l) + λ_ASR^(l)ΔW_ASR^(l) + λ_SER^(l)ΔW_SER^(l)。
• 仅训练合并系数 λ^(l)、用于组合层表示的分层特征权重 α_l，以及 SER 预测头，以避免灾难性遗忘。
• 将最终 SER 特征表示为来自全部 transformer 层的加权和 H_out = Σ_l α_l H^(l)；在此阶段冻结基础模型和任务向量。

实验结果

研究问题

• RQ1 能否在不进行梯度驱动的多任务优化的情况下将同领域 ASR 知识有效整合进 SER？
• RQ2 分层合并是否相较全局合并在深度层面上更有优势来增强 ASR 提升的 SER？
• RQ3 域一致性（同领域 vs 跨域 ASR）如何影响 MSP-Podcast 中任务向量合并的性能？
• RQ4 使用双任务向量（ASR 与 SER）与单一向量相比对 SER 性能的影响为何？

主要发现

• 通过自适应分层合并，AdaLTM 在 MSP-Podcast 上实现 Unweighted Average Recall (UAR) 38.94%，Macro-F1 35.20%。
• 同领域 ASR 任务向量优于跨域向量，证实域一致性对向量合并知识的重要性。
• 双向量合并（ASR + SER）比单向量设置表现更好，体现了语言线索与副语言线索之间的协同效应。
• 分层合并的表现优于静态全局合并（λ 固定）或自适应全局合并（对所有层使用同一个 λ），验证了深度感知整合的优势。
• 与完全可训练的多任务学习基线相比，AdaLTM 将 UAR 提升超过 8 个百分点，同时只更新不到 1% 的参数，体现了计算效率。