[论文解读] Bias in Emotion Recognition with ChatGPT

Naoki Wake, Atsushi Kanehira+3 more|arXiv (Cornell University)|Oct 18, 2023

Topic Modeling被引用 4

一句话总结

本研究在多个数据集和情绪标签上评估了ChatGPT的情绪识别能力，揭示了其性能显著受标签选择和数据集差异的影响。尽管微调可提升准确率，但模型的不一致性及其对标签表述的敏感性表明存在固有偏见，凸显了在部署大语言模型进行情绪分析时，需谨慎选择数据集和标签的紧迫性。

ABSTRACT

This technical report explores the ability of ChatGPT in recognizing emotions from text, which can be the basis of various applications like interactive chatbots, data annotation, and mental health analysis. While prior research has shown ChatGPT's basic ability in sentiment analysis, its performance in more nuanced emotion recognition is not yet explored. Here, we conducted experiments to evaluate its performance of emotion recognition across different datasets and emotion labels. Our findings indicate a reasonable level of reproducibility in its performance, with noticeable improvement through fine-tuning. However, the performance varies with different emotion labels and datasets, highlighting an inherent instability and possible bias. The choice of dataset and emotion labels significantly impacts ChatGPT's emotion recognition performance. This paper sheds light on the importance of dataset and label selection, and the potential of fine-tuning in enhancing ChatGPT's emotion recognition capabilities, providing a groundwork for better integration of emotion analysis in applications using ChatGPT.

研究动机与目标

• 评估ChatGPT在多种数据集和情绪标签下识别细微情绪的能力。
• 探究数据集选择和情绪标签设计对模型可靠性的影响。
• 评估提示工程和微调在提升情绪识别准确率方面的有效性。
• 识别基于大语言模型的情绪识别中的偏见和不一致性，尤其关注较少见的情绪标签。
• 为在需要精确情绪检测的应用中负责任地部署ChatGPT提供建议。

提出的方法

• 在五个数据集（IEMOCAP、MELD、EmoryNLP、DailyDialog和一个自定义系列）上，使用预定义的情绪标签对ChatGPT进行零样本提示推理评估。
• 利用gpt-3.5-turbo模型在标注数据上应用少样本提示和微调，以提升性能。
• 将对话历史作为上下文，预测当前话语的情绪，模拟实时情绪识别。
• 对比不同情绪标签集合（如“happiness”与“happy”，“powerful”与“peaceful”）下的模型输出。
• 通过对比相同输入在不同标签名称或上下文下的响应，分析模型的一致性。
• 对ChatGPT生成的情绪标签定义进行定性分析，以理解其对情绪概念的内部表征。

实验结果

研究问题

• RQ1 ChatGPT在不同数据集和情绪标签集合上的情绪识别表现如何变化？
• RQ2 微调在多大程度上提升了ChatGPT的情绪识别准确率和一致性？
• RQ3 ChatGPT的输出对情绪标签名称的微小变化（如“happiness”与“happy”）有多敏感？
• RQ4 为何某些情绪标签（如“powerful”和“peaceful”）在所有数据集中均表现出持续低性能？
• RQ5 训练数据偏见和标注标准在多大程度上塑造了ChatGPT的情绪识别行为？

主要发现

• ChatGPT在情绪识别任务中展现出合理的零样本性能，与先前关于情感分析的研究结果一致。
• 不同情绪标签之间的表现差异显著，特别是“powerful”和“peaceful”的准确率明显偏低，表明存在标签特定的偏见。
• 微调在所有数据集中均一致提升了模型性能，但未能完全消除标签间的不一致性。
• 模型对标签名称变化高度敏感，如“happiness”与“happy”的差异，表明标签设计对输出有重大影响。
• 尽管大语言模型具有黑箱特性，ChatGPT生成的定义仍与Ekman和Plutchik等既定情绪模型相符，表明其内部存在结构化的表征。
• 标签选择和数据集选择被证实是影响模型可靠性的关键因素，且各数据集间不一致的标注标准加剧了性能波动。