[論文レビュー] Public Perceptions of Gender Bias in Large Language Models: Cases of ChatGPT and Ernie

Kyrie Zhixuan Zhou, Madelyn Rose Sanfilippo|arXiv (Cornell University)|Sep 17, 2023

Gender Studies in Language被引用数 7

ひとこと要約

本研究は、ソーシャルメディア分析を通じて、大規模言語モデル（LLM）における性別バイアスに関する一般の認識を調査し、米国ベースのChatGPTと中国ベースのErnieを比較する。ChatGPTは、男性をSTEM職業と関連づけ、女性を看護職と関連づけるといった、内的な性別バイアスを示している一方、Ernieは、結婚をキャリアより優先すべきであるといった伝統的な性別役割を推奨するなど、明示的な文化的バイアスを示している。研究結果は、バイアスの現れ方における文化的要因の影響を浮き彫りにし、データ保護、差別の禁止法、AIリテラシー教育に基づくガバナンス戦略を提言する。

ABSTRACT

Large language models are quickly gaining momentum, yet are found to demonstrate gender bias in their responses. In this paper, we conducted a content analysis of social media discussions to gauge public perceptions of gender bias in LLMs which are trained in different cultural contexts, i.e., ChatGPT, a US-based LLM, or Ernie, a China-based LLM. People shared both observations of gender bias in their personal use and scientific findings about gender bias in LLMs. A difference between the two LLMs was seen -- ChatGPT was more often found to carry implicit gender bias, e.g., associating men and women with different profession titles, while explicit gender bias was found in Ernie's responses, e.g., overly promoting women's pursuit of marriage over career. Based on the findings, we reflect on the impact of culture on gender bias and propose governance recommendations to regulate gender bias in LLMs.

研究の動機と目的

• 米国および中国ベースのLLMにおける性別バイアスに関する一般の認識が文化的文脈によってどのように異なるかを理解すること。
• ChatGPTとErnieに関するソーシャルメディア上でのユーザー報告における性別バイアスの種類と現れ方を特定すること。
• 文化的規範が大規模言語モデルにおける性別バイアスの表現と認識にどのように影響するかを検討すること。
• 一般の議論と文化的文脈に基づいて、文脈に応じたバイアス低減のためのガバナンスフレームワークを策定すること。

提案手法

• Twitter（ChatGPT）およびWeibo（Ernie）におけるソーシャルメディア議論を比較的主題的分析し、検索キーワード「gender bias in chatgpt」と「gender bias in Ernie」を用いる。
• 2022年11月から2023年8月までの9か月間のChatGPT関連議論および6か月間のErnie関連議論を収集・分析し、理論的飽和に達するまで継続した。
• オープンコーディングとマインドマップ（XMind）を用いて、テーマ、サブテーマ、代表的なユーザー発言を階層的構造に整理した。
• 職業との関連づけにおける内的バイアス、文化的性別役割の明示的促進、科学的発見のユーザー主導的拡散といった繰り返しテーマを同定した。
• GDPR、CCPA、ADA、差別禁止法などの既存の規制および倫理的フレームワークと、一般の認識を照合した。
• データ保護、バイアス禁止法、AIリテラシー教育に基づいたガバナンス推奨策を提言した。

実験結果

リサーチクエスチョン

• RQ1 米国ベースのChatGPTと中国ベースのErnieのユーザーにおける性別バイアスの認識に、どのように差が生じるか？
• RQ2 これらのLLMに関するソーシャルメディア議論で、最も頻繁に報告される性別バイアスの種類は、内的バイアスか明示的バイアスか？
• RQ3 文化的文脈が、大規模言語モデルにおける性別バイアスの現れ方と認識にどのように影響するか？
• RQ4 ユーザーはどれほど科学的発見を共有しており、その影響は一般の議論にどのように及ぶか？
• RQ5 一般の認識に基づき、文化的に根付いた性別バイアスを効果的に是正できるガバナンス戦略は何か？

主な発見

• ChatGPTは、主に内的な性別バイアスと関連づけられており、応答生成において男性をSTEM職業と、女性を看護職とステレオタイプ的に関連づける傾向が見られた。
• Ernieは明示的な性別バイアスを示しており、女性のキャリアよりも結婚を優先すべきであるといった回答を示した。
• ソーシャルメディア上では、両モデルとの日常的対話において、特に職業や役割との関連づけにおいて、性別バイアスが頻繁に観察され、批判されていた。
• ChatGPTに関する議論の多くには、バイアスに関する科学的研究への言及があり、一般の認識が高まっている兆候が示された。
• Ernieに関する議論は頻度が低く、文化的規範に対する批判的姿勢が強く、地域の文化的価値観と認識されたバイアスの関連性が強いことが示された。
• 本研究は、データ保護法（例：GDPR、CCPA）、差別禁止法、AIリテラシー教育が、LLMにおける性別バイアスの効果的ガバナンスの鍵となると同定した。