[论文解读] Public Perceptions of Gender Bias in Large Language Models: Cases of ChatGPT and Ernie

Kyrie Zhixuan Zhou, Madelyn Rose Sanfilippo|arXiv (Cornell University)|Sep 17, 2023

Gender Studies in Language被引用 7

一句话总结

本研究通过社交媒体分析，调查了公众对大型语言模型（LLMs）中性别偏见的看法，比较了基于美国的ChatGPT与基于中国的Ernie。研究发现，ChatGPT表现出隐性性别偏见——例如将男性与STEM职业联系起来，将女性与照护角色联系起来；而Ernie则表现出显性文化偏见，如提倡传统性别角色，例如优先考虑婚姻而非事业。研究结果凸显了文化对偏见表现形式的影响，并提出了基于数据保护、反歧视法律和人工智能素养的治理策略，以减轻LLMs中的偏见。

ABSTRACT

Large language models are quickly gaining momentum, yet are found to demonstrate gender bias in their responses. In this paper, we conducted a content analysis of social media discussions to gauge public perceptions of gender bias in LLMs which are trained in different cultural contexts, i.e., ChatGPT, a US-based LLM, or Ernie, a China-based LLM. People shared both observations of gender bias in their personal use and scientific findings about gender bias in LLMs. A difference between the two LLMs was seen -- ChatGPT was more often found to carry implicit gender bias, e.g., associating men and women with different profession titles, while explicit gender bias was found in Ernie's responses, e.g., overly promoting women's pursuit of marriage over career. Based on the findings, we reflect on the impact of culture on gender bias and propose governance recommendations to regulate gender bias in LLMs.

研究动机与目标

• 理解公众对LLMs中性别偏见的认知在不同文化背景下的差异，特别是基于美国的ChatGPT与基于中国的Ernie之间的差异。
• 识别用户在社交媒体上关于ChatGPT和Ernie报告的性别偏见类型及其表现形式。
• 探讨文化规范如何塑造大型语言模型中性别偏见的表达与认知。
• 基于公众话语与文化背景，为减轻LLMs中的性别偏见提供情境敏感的治理框架。

提出的方法

• 使用搜索关键词“gender bias in chatgpt”和“gender bias in Ernie”，对Twitter（ChatGPT）和Weibo（Ernie）上的社交媒体讨论进行对比主题分析。
• 从2022年11月至2023年8月收集并分析了9个月的ChatGPT相关讨论和6个月的Ernie相关讨论，直至理论饱和。
• 采用开放式编码与思维导图（XMind）技术，将主题、子主题及代表性用户引述组织成层级结构。
• 识别出重复出现的主题，如职业关联中的隐性偏见、显性文化性别角色推广，以及用户推动的科学研究发现传播。
• 将公众认知与现有监管与伦理框架（包括GDPR、CCPA、ADA及反歧视法律）进行映射。
• 基于数据保护、反偏见立法和人工智能素养教育，提出治理建议。

实验结果

研究问题

• RQ1 基于美国的ChatGPT用户与基于中国的Ernie用户在性别偏见认知上存在哪些差异？
• RQ2 在社交媒体讨论中，关于这些LLMs的性别偏见——隐性或显性——哪种类型被报告得最为频繁？
• RQ3 文化背景如何影响大型语言模型中性别偏见的表现形式与认知方式？
• RQ4 用户在多大程度上分享关于性别偏见的科学研究发现？这种分享如何影响公众话语？
• RQ5 基于公众认知，哪些治理策略能有效应对LLMs中根植于文化的性别偏见？

主要发现

• ChatGPT主要与隐性性别偏见相关，例如在生成回复时刻板地将男性与STEM职业联系，将女性与照护角色联系。
• Ernie表现出显性性别偏见，包括回应中提倡传统性别角色，例如建议女性优先考虑婚姻而非事业。
• 社交媒体用户频繁观察并批判了与这两款模型在日常互动中表现出的性别偏见，尤其是在职业与角色关联方面。
• 大量关于ChatGPT的讨论中引用了关于偏见的科学研究，表明公众对这一问题的认知正在提高。
• 关于Ernie的讨论较少，但更具批判性，反映出本地文化价值观与感知偏见之间存在更强关联。
• 本研究识别出数据保护法（如GDPR、CCPA）、反歧视立法以及人工智能素养是有效治理LLMs中性别偏见的关键推动因素。