[论文解读] Angry Men, Sad Women: Large Language Models Reflect Gendered Stereotypes in Emotion Attribution

Flor Miriam Plaza-del-Arco, Amanda Cercas Curry+3 more|arXiv (Cornell University)|Mar 5, 2024

Gender, Feminism, and Media被引用 4

一句话总结

本研究通过基于角色的提示方法，调查了五种前沿大语言模型（LLMs）在情绪归属上的性别化倾向。研究发现，所有模型均一致地将女性与悲伤联系起来，将男性与愤怒联系起来——这与根深蒂固的社会刻板印象一致，引发了人们对在情绪相关应用中使用LLMs的公平性和伦理影响的担忧。

ABSTRACT

Large language models (LLMs) reflect societal norms and biases, especially about gender. While societal biases and stereotypes have been extensively researched in various NLP applications, there is a surprising gap for emotion analysis. However, emotion and gender are closely linked in societal discourse. E.g., women are often thought of as more empathetic, while men's anger is more socially accepted. To fill this gap, we present the first comprehensive study of gendered emotion attribution in five state-of-the-art LLMs (open- and closed-source). We investigate whether emotions are gendered, and whether these variations are based on societal stereotypes. We prompt the models to adopt a gendered persona and attribute emotions to an event like 'When I had a serious argument with a dear person'. We then analyze the emotions generated by the models in relation to the gender-event pairs. We find that all models consistently exhibit gendered emotions, influenced by gender stereotypes. These findings are in line with established research in psychology and gender studies. Our study sheds light on the complex societal interplay between language, gender, and emotion. The reproduction of emotion stereotypes in LLMs allows us to use those models to study the topic in detail, but raises questions about the predictive use of those same LLMs for emotion applications.

研究动机与目标

• 调查大型语言模型（LLMs）在情绪归属中是否反映社会性别刻板印象。
• 确定这些情绪关联是源于真实的生活体验，还是由根深蒂固的性别刻板印象驱动。
• 考察LLMs在情绪相关自然语言处理任务中，作为社会偏见的镜像与表征伤害放大器的角色。
• 对多种LLMs和性别化角色进行全面的、定量与定性相结合的情绪归属分析。
• 通过公开所有数据并促进自然语言处理、心理学与性别研究的跨学科合作，为未来研究提供支持。

提出的方法

• 采用基于角色的提示方法，从五种前沿LLMs（包括开源与闭源模型，如GPT-4和LLaMA）中获取情绪归属响应。
• 向每个模型呈现一个标准化事件——“当我与一位重要的人发生严重争执时”——并配以男性或女性性别化角色。
• 在7,000个独特事件和两种性别化角色之间，收集了超过200,000条完成文本，涵盖400多种不同情绪。
• 对不同性别化角色之间的情绪分布进行定量分析，以识别系统性偏见。
• 对模型生成的解释进行定性分析，以验证并 contextualize 观察到的情绪关联。
• 将模型输出与自我报告的情绪数据进行对比，以评估其与真实生活体验的对齐程度，还是与社会刻板印象一致。

Figure 1: Stereotypical model biases in gendered emotion attribution for the event “When I had a serious argument with a dear person”. The model attributes woman with sadness and man with anger . See Table 4 for detailed explanations.

实验结果

研究问题

• RQ1 当使用性别化角色提示时，大型语言模型是否表现出性别化的情绪归属？
• RQ2 LLMs中观察到的情绪关联是源于真实的生活情绪体验差异，还是由社会性别刻板印象塑造的？
• RQ3 LLMs在多大程度上复制并放大了心理学与性别研究中已知的性别化情绪刻板印象？
• RQ4 模型的解释在多大程度上反映或掩盖了这些刻板印象关联？
• RQ5 这些偏见对LLMs在心理健康或人机交互等敏感情绪相关应用中的使用有何影响？

主要发现

• 当使用相同的情绪事件提示时，所有五种前沿LLMs均一致地更频繁地将悲伤归因于女性角色，将愤怒归因于男性角色。
• 这些情绪关联与心理学和社会学研究中已确立的性别化情绪刻板印象高度一致，例如认为女性更情绪化、男性更易怒。
• 即使自我报告数据表明情绪反应不同，模型仍维持相同的性别化情绪关联，表明该偏见并非源于生活体验，而是源于社会刻板印象。
• 对模型解释的定性分析显示，模型通常使用性别化的行为与情绪规范来解释这些关联，从而强化传统性别角色。
• 研究结果凸显了在情绪分析任务中部署LLMs时存在显著的表征伤害风险，尤其是在心理健康和人机交互领域。
• 本研究强调了LLMs在反映并放大社会偏见方面的双重角色，呼吁在情绪相关应用中谨慎使用。

Figure 2: Distribution of emotions attributed to woman and man by the five LLMs.