[论文解读] LaERC-S: Improving LLM-based Emotion Recognition in Conversation with Speaker Characteristics

Yumeng Fu, Wu, Junjie+5 more|arXiv (Cornell University)|Mar 12, 2024

Emotion and Mood Recognition被引用 5

一句话总结

LaERC-S 通过使用大型语言模型从历史话语中生成说话者常识，并利用这些知识来提升对话中的情感识别（ERC）性能。

ABSTRACT

Emotion recognition in conversation (ERC), the task of discerning human emotions for each utterance within a conversation, has garnered significant attention in human-computer interaction systems. Previous ERC studies focus on speaker-specific information that predominantly stems from relationships among utterances, which lacks sufficient information around conversations. Recent research in ERC has sought to exploit pre-trained large language models (LLMs) with speaker modelling to comprehend emotional states. Although these methods have achieved encouraging results, the extracted speaker-specific information struggles to indicate emotional dynamics. In this paper, motivated by the fact that speaker characteristics play a crucial role and LLMs have rich world knowledge, we present LaERC-S, a novel framework that stimulates LLMs to explore speaker characteristics involving the mental state and behavior of interlocutors, for accurate emotion predictions. To endow LLMs with this knowledge information, we adopt the two-stage learning to make the models reason speaker characteristics and track the emotion of the speaker in complex conversation scenarios. Extensive experiments on three benchmark datasets demonstrate the superiority of LaERC-S, reaching the new state-of-the-art.

研究动机与目标

• 通过纳入与说话者相关的常识和听者反应来推动改进的 ERC。
• 使用大型语言模型从历史话语生成以说话者为中心的常识。
• 通过说话者常识识别进行预训练以提升 ERC 性能。
• 用增强的说话者上下文特征对基于 LLM 的 ERC 系统进行微调。
• 在标准 ERC 数据集上展示最先进或具有竞争力的结果。

提出的方法

• 通过 Llama2-Chat 提示，利用历史话语生成与意图和听者反应相关的说话者常识。
• 构建基于关系的模板，针对九种 ATOMIC 关系（xIntent、xReact、oReact 等）生成常识数据。
• 用对话者常识识别替代说话者识别的辅助任务进行预训练。
• 使用 Llama2 系列模型和 LoRA 控制参数的两阶段过程对 ERC 模型进行微调。
• 利用包含历史、任务定义和期望输出的提示，用于常识识别和情感预测两者。
• 在 IEMOCAP、EmoryNLP 和 MELD 上评估，使用加权 F1 作为关键指标。

实验结果

研究问题

• RQ1 将历史对话中的对话者常识纳入是否能在 ERC 的准确性上超过说话者识别基线？
• RQ2 调整 LLM 提示以生成听者反应和说话者意图是否能带来更好的情感识别？
• RQ3 与 InstructERC 及其他基于常识的模型相比，LaERC-S 在标准 ERC 数据集上的表现如何？

主要发现

• LaERC-S 在 IEMOCAP、EmoryNLP 和 MELD 上达到最先进或具有竞争力的结果。
• 平均而言，LaERC-S 优于 InstructERC 及若干基线，在 IEMOCAP 和 EmoryNLP 数据集上有显著提升。
• 利用历史话语来生成当前话语的常识比以词汇级或话语无关的方法能产生更准确的隐含情感线索。
• 在 ERC 主任务前进行对话者常识识别的两阶段训练可提升情感预测。
• 跨三个数据集的平均结果显示相对于选定基线的有利性能提升。