[論文レビュー] Angry Men, Sad Women: Large Language Models Reflect Gendered Stereotypes in Emotion Attribution

Flor Miriam Plaza-del-Arco, Amanda Cercas Curry+3 more|arXiv (Cornell University)|Mar 5, 2024

Gender, Feminism, and Media被引用数 4

ひとこと要約

本研究では、ペルソナベースのプロンプトを用いて、最先端の大規模言語モデル（LLM）5種における性別に基づく感情帰属を調査した。全モデルが一貫して女性を悲しみと関連づけ、男性を怒りと関連づけていることが判明した。これは、根強く定着した社会的ステレオタイプを反映しており、感情関連の応用においてLLMを用いることの公平性および倫理的含意について懸念を喚起する。

ABSTRACT

Large language models (LLMs) reflect societal norms and biases, especially about gender. While societal biases and stereotypes have been extensively researched in various NLP applications, there is a surprising gap for emotion analysis. However, emotion and gender are closely linked in societal discourse. E.g., women are often thought of as more empathetic, while men's anger is more socially accepted. To fill this gap, we present the first comprehensive study of gendered emotion attribution in five state-of-the-art LLMs (open- and closed-source). We investigate whether emotions are gendered, and whether these variations are based on societal stereotypes. We prompt the models to adopt a gendered persona and attribute emotions to an event like 'When I had a serious argument with a dear person'. We then analyze the emotions generated by the models in relation to the gender-event pairs. We find that all models consistently exhibit gendered emotions, influenced by gender stereotypes. These findings are in line with established research in psychology and gender studies. Our study sheds light on the complex societal interplay between language, gender, and emotion. The reproduction of emotion stereotypes in LLMs allows us to use those models to study the topic in detail, but raises questions about the predictive use of those same LLMs for emotion applications.

研究の動機と目的

• 大規模言語モデル（LLM）が、感情帰属において社会的性別ステレオタイプを反映しているかどうかを調査すること。
• これらの感情的関連性が、実際の生活経験由来であるのか、それとも固定化された性別ステレオタイプ由来であるのかを特定すること。
• LLMが感情関連NLPタスクにおける社会的バイアスの反映体および代表的害の拡大要因として果たす役割を検討すること。
• 多様なLLMおよび性別ペルソナを対象とした、感情帰属の包括的かつ定量的・定性的分析を実施すること。
• すべてのデータを公開し、NLP、心理学、ジェンダー研究分野における学際的協力を促進することで、今後の研究を支援すること。

提案手法

• GPT-4 や LLaMA を含む、5つの最先端LLM（オープンソースおよびクローズドソース）に対して、ペルソナベースのプロンプトを用いて感情帰属を引き出す手法を採用した。
• 各モデルに、『大切な人と深刻な口論をしたとき』という標準化された出来事と、男性または女性の性別ペルソナを提示した。
• 7,000件の固有の出来事と2つの性別ペルソナを対象に、400種類以上の感情を含む20万件を超える完了出力を収集した。
• 性別ペルソナごとの感情分布の定量的分析を通じて、体系的なバイアスを同定した。
• 観察された感情的関連性を検証・文脈化するため、モデルが出力する説明の定性的分析を実施した。
• 自己報告感情データとモデル出力を比較することで、生活経験との整合性と社会的ステレオタイプとの整合性を評価した。

Figure 1: Stereotypical model biases in gendered emotion attribution for the event “When I had a serious argument with a dear person”. The model attributes woman with sadness and man with anger . See Table 4 for detailed explanations.

実験結果

リサーチクエスチョン

• RQ1 性別ペルソナをプロンプトとして提示した場合、大規模言語モデルは性別に基づく感情的帰属を示すか？
• RQ2 LLMで観察された感情的関連性は、実際の感情的経験の差異由来であるのか、それとも社会的性別ステレオタイプ由来であるのか？
• RQ3 LLMは、心理学およびジェンダー研究で知られている既存の性別に基づく感情的ステレオタイプをどの程度再現・強化するか？
• RQ4 モデルの説明は、これらのステレオタイプ的関連性をどのように反映または隠蔽するか？
• RQ5 精神的健康や人間-コンピュータインタラクションなどの感受性の高い感情関連応用において、これらのバイアスがもたらす影響は何か？

主な発見

• 5つの最先端LLMすべてが、同じ感情的出来事に対して、女性ペルソナに対して悲しみをより頻繁に帰属づけ、男性ペルソナに対して怒りをより頻繁に帰属づけている。
• 観察された感情的関連性は、女性がより感情的である、男性がより怒りっぽいとされるという、心理学および社会学的研究で確立された性別ステレオタイプと強く一致している。
• 自己報告データが異なる感情反応を示しても、モデルは同じ性別に基づく感情的関連性を維持しており、バイアスが生活経験に基づくのではなく社会的ステレオタイプに基づくものであることが示された。
• モデルの説明の定性的分析から、モデルはしばしば性別に基づく行動的・感情的規範を根拠にこれらの関連性を正当化しており、伝統的な役割を強化していることがわかった。
• 精神的健康や人間-コンピュータインタラクションなどの分野でLLMを感情分析タスクに導入する際、代表的害の重大なリスクが浮き彫りになった。
• 本研究は、LLMが社会的バイアスの反映体であると同時に、バイアスの拡大要因にもなり得ることを強調しており、感情関連応用における使用にあたっては慎重な配慮が不可欠であることを示唆している。

Figure 2: Distribution of emotions attributed to woman and man by the five LLMs.