[论文解读] Is GPT a Computational Model of Emotion? Detailed Analysis

Ala N. Tak, Jonathan Gratch|arXiv (Cornell University)|Jul 25, 2023

Topic Modeling被引用 5

一句话总结

本文评估了GPT模型是否可作为情感的计算模型，通过分析其在不同情境条件下对自传体记忆和情感反应的推理。尽管在情感标签方面与人类评估高度一致，GPT在预测情感强度和应对行为方面仍表现不佳，即使GPT-4在经过提示工程后表现出更优性能，凸显了其在情感推理中响应多样性与可靠性的局限性。

ABSTRACT

This paper investigates the emotional reasoning abilities of the GPT family of large language models via a component perspective. The paper first examines how the model reasons about autobiographical memories. Second, it systematically varies aspects of situations to impact emotion intensity and coping tendencies. Even without the use of prompt engineering, it is shown that GPT's predictions align significantly with human-provided appraisals and emotional labels. However, GPT faces difficulties predicting emotion intensity and coping responses. GPT-4 showed the highest performance in the initial study but fell short in the second, despite providing superior results after minor prompt engineering. This assessment brings up questions on how to effectively employ the strong points and address the weak areas of these models, particularly concerning response variability. These studies underscore the merits of evaluating models from a componential perspective.

研究动机与目标

• 评估GPT模型是否可通过分析其对情感反应的推理，作为情感的计算模型。
• 研究GPT如何处理自传体记忆及其情感影响。
• 考察情境变化对情感强度与应对倾向预测的影响。
• 评估提示工程对GPT在情感推理任务中表现的影响。
• 识别GPT在情感推理中的优势与劣势，以支持其在情感AI系统中的实际部署。

提出的方法

• 对GPT的情感推理进行基于组件的分析，重点关注记忆与评估过程。
• 系统性地改变情境因素（如事件严重性、社会背景）以评估其对预测情感与应对策略的影响。
• 在无提示工程条件下收集GPT生成的回应，以评估基线性能。
• 将GPT输出与人类提供的情感评估和标签进行对比，以检验一致性与对齐程度。
• 对GPT-4应用轻微提示工程，以评估其在预测情感强度与应对反应方面的改进。
• 采用对比框架评估GPT-3.5与GPT-4在响应多样性与可靠性方面的表现。

实验结果

研究问题

• RQ1 在推理自传体记忆与情感反应时，GPT与人类评估的对齐程度如何？
• RQ2 情境因素的变化在多大程度上影响GPT对情感强度与应对行为的预测？
• RQ3 提示工程对GPT预测情感强度与应对反应能力的影响是什么？
• RQ4 GPT-4相较于早期版本在情感推理任务中表现如何，特别是在处理情感复杂性方面？
• RQ5 GPT模型在将情感建模为计算系统时存在哪些关键局限？

主要发现

• GPT模型在情感标签方面与人类提供的情感评估和标签表现出显著一致性，即使在无提示工程条件下亦然。
• 在初步研究中，GPT-4表现最佳，其基于情境上下文预测情感反应的能力优于GPT-3.5。
• 尽管初步评估表现优异，GPT-4在第二项研究中仍难以准确预测情感强度与应对行为。
• 提示工程显著提升了GPT-4在预测情感强度与应对反应方面的能力，表明模型的可靠性对输入表述方式高度敏感。
• 研究发现，GPT模型在复杂情感推理任务中表现出较高的响应质量变异性。
• 研究结果强调了采用组件化评估方法的重要性，以更深入理解大语言模型在情感建模中的优势与局限。