[논문 리뷰] Angry Men, Sad Women: Large Language Models Reflect Gendered Stereotypes in Emotion Attribution

Flor Miriam Plaza-del-Arco, Amanda Cercas Curry외 3명|arXiv (Cornell University)|2024. 03. 05.

Gender, Feminism, and Media인용 수 4

한 줄 요약

이 연구는 성별 기반 프로파일 프롬프팅을 사용하여 다섯 가지 최신 기술의 대규모 언어 모델(Large Language Models, LLMs)에서 성별에 따른 정서 할당을 조사한다. 모든 모델이 여성과 슬픔, 남성과 분노를 일관되게 연관지키며, 고착화된 사회적 성고정관념을 반영함으로써 정서 관련 응용 분야에서 LLMs의 공정성과 윤리적 영향에 대한 우려를 제기한다.

ABSTRACT

Large language models (LLMs) reflect societal norms and biases, especially about gender. While societal biases and stereotypes have been extensively researched in various NLP applications, there is a surprising gap for emotion analysis. However, emotion and gender are closely linked in societal discourse. E.g., women are often thought of as more empathetic, while men's anger is more socially accepted. To fill this gap, we present the first comprehensive study of gendered emotion attribution in five state-of-the-art LLMs (open- and closed-source). We investigate whether emotions are gendered, and whether these variations are based on societal stereotypes. We prompt the models to adopt a gendered persona and attribute emotions to an event like 'When I had a serious argument with a dear person'. We then analyze the emotions generated by the models in relation to the gender-event pairs. We find that all models consistently exhibit gendered emotions, influenced by gender stereotypes. These findings are in line with established research in psychology and gender studies. Our study sheds light on the complex societal interplay between language, gender, and emotion. The reproduction of emotion stereotypes in LLMs allows us to use those models to study the topic in detail, but raises questions about the predictive use of those same LLMs for emotion applications.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 정서 할당에서 사회적 성고정관념을 반영하는지 조사하기 위해.
• 이러한 정서적 연관성이 실제 삶의 경험에서 비롯되는지 아니면 뿌리내린 성고정관념에 의해 이끌리는지 결정하기 위해.
• LLMs가 정서 관련 자연어처리(NLP) 과제에서 사회적 편향의 반영자이자 표현적 손상의 강화자로 기능하는 역할을 분석하기 위해.
• 다양한 LLMs와 성별 프로파일 간의 정서 할당에 대해 종합적이고 정량적·정성적 분석을 수행하기 위해.
• 모든 데이터를 공개하고 NLP, 심리학, 성 연구 분야 간의 다학제적 협력을 촉진함으로써 향후 연구를 지원하기 위해.

제안 방법

• 최신 기술의 다섯 개의 SOTA LLMs(오픈소스 및 클로즈드소스 포함), GPT-4와 LLaMA를 대상으로 성별 기반 프롬프팅을 적용하였다.
• 각 모델에 동일한 사건—'내가 사랑하는 사람과 심각한 다툼을 했을 때'—와 남성 또는 여성 성별 프로파일을 함께 제시하였다.
• 7,000개의 고유한 사건과 두 성별 프로파일을 기반으로 20만 개 이상의 완성문을 수집하였으며, 400개 이상의 다양한 정서를 포함하였다.
• 성별 프로파일 간 정서 분포를 정량적으로 분석하여 체계적인 편향을 식별하였다.
• 모델이 생성한 설명의 정성적 분 析를 수행하여 관찰된 정서 연관성을 검증하고 맥락화하였다.
• 자기 보고된 정서 데이터와 모델 출력을 비교하여 실제 경험과 사회적 고정관념 중 어느 쪽에 더 부합하는지 평가하였다.

Figure 1: Stereotypical model biases in gendered emotion attribution for the event “When I had a serious argument with a dear person”. The model attributes woman with sadness and man with anger . See Table 4 for detailed explanations.

실험 결과

연구 질문

• RQ1 성별 프로파일을 프롬프팅으로 제공했을 때 대규모 언어 모델(Large Language Models, LLMs)이 성별에 따른 정서 할당을 보이는가?
• RQ2 LLMs에서 관찰된 정서 연관성이 실제 생활 경험의 차이에서 비롯되는가 아니면 사회적 성고정관념에 의해 이끌리는가?
• RQ3 LLMs가 심리학 및 성 연구 분야에서 알려진 기존의 성별 정서 고정관념을 어느 정도 재현하고 강화하는가?
• RQ4 모델의 설명이 이러한 고정관념적 연관성을 어떻게 반영하거나 은폐하는가?
• RQ5 정서 분석과 관련된 민감한 응용 분야, 예를 들어 정신건강 또는 인간-컴퓨터 상호작용에서 LLMs의 사용에 있어 이러한 편향의 함의는 무엇인가?

주요 결과

• 모든 다섯 개의 최신 기술 LLMs는 동일한 정서적 사건에 대해 여성 프로파일에 대해 슬픔을 더 자주 할당하고 남성 프로파일에 대해 분노를 더 자주 할당하는 경향을 보였다.
• 관찰된 정서 연관성은 여성은 더 정서적이고 남성은 더 분노적이라는 심리학적·사회학적 연구에서 잘 알려진 성별 정서 고정관념과 강하게 일치하였다.
• 자기 보고된 데이터에서는 다른 정서 반응이 나타났음에도 불구하고, 모델들은 여전히 동일한 성별 정서 연관성을 유지하였다. 이는 편향이 실제 경험에 기반하지 않고 사회적 고정관념에 기반한다는 것을 시사한다.
• 모델 설명의 정성적 분석을 통해 모델들이 종종 성별에 기반한 행동 및 정서 기준을 사용하여 이러한 연관성을 정당화함으로써 전통적 역할을 강화하는 것으로 나타났다.
• 정신건강 및 인간-컴퓨터 상호작용 분야에서 정서 분석 과제에 LLMs를 도입할 경우 표현적 손상의 심각한 위험이 있다는 점이 드러났다.
• 이 연구는 LLMs가 사회적 편향을 반영하고 동시에 이를 강화하는 이중적 역할을 한다는 점을 강조하며, 정서 관련 응용 분야에서의 사용에 있어 신중함을 당부한다.

Figure 2: Distribution of emotions attributed to woman and man by the five LLMs.