[论文解读] Large Language Models Understand and Can be Enhanced by Emotional Stimuli

Cheng Li, Jindong Wang+7 more|arXiv (Cornell University)|Jul 14, 2023

Topic Modeling被引用 57

一句话总结

本文提出 EmotionPrompt，并在提示中附加心理情绪刺激，显示大语言模型在确定性和生成任务中通过这些线索理解并改进，且通过自动基准和一个人类研究验证。

ABSTRACT

Emotional intelligence significantly impacts our daily behaviors and interactions. Although Large Language Models (LLMs) are increasingly viewed as a stride toward artificial general intelligence, exhibiting impressive performance in numerous tasks, it is still uncertain if LLMs can genuinely grasp psychological emotional stimuli. Understanding and responding to emotional cues gives humans a distinct advantage in problem-solving. In this paper, we take the first step towards exploring the ability of LLMs to understand emotional stimuli. To this end, we first conduct automatic experiments on 45 tasks using various LLMs, including Flan-T5-Large, Vicuna, Llama 2, BLOOM, ChatGPT, and GPT-4. Our tasks span deterministic and generative applications that represent comprehensive evaluation scenarios. Our automatic experiments show that LLMs have a grasp of emotional intelligence, and their performance can be improved with emotional prompts (which we call "EmotionPrompt" that combines the original prompt with emotional stimuli), e.g., 8.00% relative performance improvement in Instruction Induction and 115% in BIG-Bench. In addition to those deterministic tasks that can be automatically evaluated using existing metrics, we conducted a human study with 106 participants to assess the quality of generative tasks using both vanilla and emotional prompts. Our human study results demonstrate that EmotionPrompt significantly boosts the performance of generative tasks (10.9% average improvement in terms of performance, truthfulness, and responsibility metrics). We provide an in-depth discussion regarding why EmotionPrompt works for LLMs and the factors that may influence its performance. We posit that EmotionPrompt heralds a novel avenue for exploring interdisciplinary knowledge for human-LLMs interaction.

研究动机与目标

• 评估LLM是否能理解心理情绪刺激。
• 通过在提示中加入情绪线索来开发并测试 EmotionPrompt。
• 在带有自动指标的确定性任务上评估 EmotionPrompt。
• 在带有人工评估的生成性任务上评估 EmotionPrompt。

提出的方法

• 基于自我监控、社会认知理论和认知情绪调节理论设计 11 种情绪刺激，作为提示附加项（EmotionPrompt）。
• 在六种模型（Flan-T5-Large、Vicuna、Llama 2、BLOOM、ChatGPT、GPT-4）上，对 Instruction Induction 和 BIG-Bench 的零-shot 与少-shot 表现进行评估。
• 使用自动指标对 Instruction Induction（准确率）和 BIG-Bench（标准化的首选分数）进行评估。
• 进行一个包含 106 名参与者的人类研究，评估 GPT-4 输出在表现、真实性和责任心方面。
• 将 EmotionPrompt 与基线进行比较，包括原始提示、零-shot-CoT 和 APE。
• 进行消融分析，了解哪些刺激最有效以及原因。

Figure 1 : An overview of our research from generating to evaluating EmotionPrompt.

实验结果

研究问题

• RQ1 LLMs 能否理解并从附加到提示中的情绪刺激中获益？
• RQ2 EmotionPrompt 在多样化的 LLMs 上对确定性任务的性能能提高多少？
• RQ3 EmotionPrompt 是否能够提升人类评估的生成任务质量、真实性和责任感？

主要发现

• EmotionPrompt 在所评估的模型上对 Instruction Induction 提升 8.00% 的相对收益，在 BIG-Bench 上提升 115%。
• 在包含 106 名参与者的人类研究中，EmotionPrompt 在生成任务的表现、真实性和责任感方面平均提高 10.9%。
• TruthfulQA 改善：EmotionPrompt 在各模型中的真实性平均提高 19%，信息性提高 12%（最佳结果在某些 EP 提示下显示）。
• 消融分析显示性能提升与情绪刺激通过输入注意力和梯度效应影响最终输出相关，且某些提示（EP02、EP06）在各自基准中表现最佳。
• EmotionPrompt 仍通常对模型规模、任务类型和其他提示工程基线有效，尽管并非在所有情况下都优于其他方法。

Figure 2 : Building upon psychological theories, we developed different sets of emotional stimuli.