[论文解读] Affect Recognition in Conversations Using Large Language Models

Shutong Feng, Guangzhi Sun+4 more|arXiv (Cornell University)|Sep 22, 2023

Mental Health via WritingPsychology被引用 3

一句话总结

本研究使用 IEMOCAP、EmoWOZ 和 DAIC-WOZ 数据集，评估了大型语言模型（LLMs）在闲聊和任务导向对话中进行情感识别的性能。结果表明，少样本上下文学习和微调显著提升了 LLM 的表现，其中 GPT-4 达到了最先进水平，而 LLM 在除抑郁检测外对 ASR 错误表现出较强的鲁棒性。

ABSTRACT

Affect recognition, encompassing emotions, moods, and feelings, plays a pivotal role in human communication. In the realm of conversational artificial intelligence, the ability to discern and respond to human affective cues is a critical factor for creating engaging and empathetic interactions. This study investigates the capacity of large language models (LLMs) to recognise human affect in conversations, with a focus on both open-domain chit-chat dialogues and task-oriented dialogues. Leveraging three diverse datasets, namely IEMOCAP (Busso et al., 2008), EmoWOZ (Feng et al., 2022), and DAIC-WOZ (Gratch et al., 2014), covering a spectrum of dialogues from casual conversations to clinical interviews, we evaluate and compare LLMs' performance in affect recognition. Our investigation explores the zero-shot and few-shot capabilities of LLMs through in-context learning as well as their model capacities through task-specific fine-tuning. Additionally, this study takes into account the potential impact of automatic speech recognition errors on LLM predictions. With this work, we aim to shed light on the extent to which LLMs can replicate human-like affect recognition capabilities in conversations.

研究动机与目标

• 评估 LLM 在对话人工智能中识别情感和抑郁严重程度的零样本与少样本能力。
• 探究自动语音识别（ASR）错误对基于 LLM 的情感识别的影响。
• 比较上下文学习（ICL）与特定任务微调在多样化对话类型中进行情感识别的有效性。
• 评估 LLM 是否能在开放领域闲聊和任务导向对话中实现类人的情感识别。
• 探索 LLM 作为语音对话系统后端的潜力，特别是在存在真实 ASR 错误的条件下。

提出的方法

• 在三个数据集中使用了四种 LLM：LLaMA-7B、Alpaca-7B、GPT-3.5 和 GPT-4，分别用于 IEMOCAP（情感）、EmoWOZ（任务导向对话）和 DAIC-WOZ（抑郁筛查）的情感识别任务。
• 设计了包含情感定义和上下文特定指令的提示模板，以在零样本和少样本上下文学习（ICL）设置中引导 LLM。
• 通过不同数量的少样本示例（N=0 到 N=5）进行上下文学习，以评估提示工程对性能的影响。
• 对 LLaMA-7B、Alpaca-7B 和 GPT-2 进行特定任务微调，使用 25%、50%、75% 和 100% 的训练数据，以评估模型容量与数据效率。
• 在话语中注入合成的 ASR 错误，以评估 LLM 在语音对话系统中对情感识别的鲁棒性，尤其针对抑郁检测任务。
• 使用加权 F1 和宏 F1 等标准指标，评估多分类情感与抑郁严重程度分类任务的性能。

实验结果

研究问题

• RQ1 LLM 在不同对话类型（包括闲聊和任务导向对话）中的零样本与少样本情感识别表现如何？
• RQ2 与零样本设置相比，使用少样本示例进行上下文学习在多大程度上提升了 LLM 在情感识别任务中的表现？
• RQ3 特定任务微调在多大程度上增强了 LLM 的情感识别能力？多大比例的训练数据足以实现接近最先进（SOTA）的性能？
• RQ4 LLM 在识别语音对话中的情感与抑郁时，对自动语音识别（ASR）错误的鲁棒性如何？
• RQ5 标签语义与类别不平衡在微调后的 LLM 情感识别任务性能中起到何种作用？

主要发现

• GPT-4 在所有数据集中表现最佳，在 IEMOCAP（四分类）上加权 F1 达 0.78，在 EmoWOZ 上为 0.74，无论在零样本还是少样本设置中均优于其他 LLM。
• 少样本上下文学习显著提升了性能，尤其对大模型而言：GPT-3.5 和 GPT-4 随着少样本示例数量增加而持续提升，分别在 N=1 时达到峰值，适用于四分类 IEMOCAP 和 EmoWOZ。
• 特定任务微调使 LLaMA-7B 和 Alpaca-7B 在仅使用 50% 训练数据的情况下，于 IEMOCAP（四分类）和 EmoWOZ 上达到接近最先进水平，加权 F1 分数超过 0.75。
• 在 IEMOCAP（五分类）上使用完整训练集进行微调后，性能仍与监督式 SOTA 存在差距，可能是因为引入了缺乏情感特异性的模糊类别 'Other'。
• GPT-2 在微调后性能下降，原因在于类别不平衡，模型过度预测 'Neutral' 类，而这些预测被从评估指标中排除。
• LLM 在情感识别任务中对 ASR 错误表现出鲁棒性，但在抑郁检测任务中性能显著下降，表明其对高风险情感内容在噪声输入下较为敏感。