[논문 리뷰] Public Perceptions of Gender Bias in Large Language Models: Cases of ChatGPT and Ernie

Kyrie Zhixuan Zhou, Madelyn Rose Sanfilippo|arXiv (Cornell University)|2023. 09. 17.

Gender Studies in Language인용 수 7

한 줄 요약

이 연구는 소셜 미디어 분석을 통해 대규모 언어 모델(Large Language Models, LLMs)의 성별 편향에 대한 대중의 인식을 조사하며, 미국 기반의 ChatGPT와 중국 기반의 Ernie를 비교한다. 연구 결과, ChatGPT는 남성과 과학기술(STEM) 직업, 여성과 양육 역할 간의 암묵적 성별 편향을 보이며, Ernie는 결혼을 경력보다 우선시하는 전통적인 성별 역할을 홍보하는 등 명시적 문화적 편향을 보인다. 이는 편향의 표현 방식이 문화적 영향을 받음을 시사하며, 데이터 보호, 차별 금지 법, AI 교육을 바탕으로 한 거버넌스 전략을 통해 LLM 내 편향을 완화할 수 있음을 제안한다.

ABSTRACT

Large language models are quickly gaining momentum, yet are found to demonstrate gender bias in their responses. In this paper, we conducted a content analysis of social media discussions to gauge public perceptions of gender bias in LLMs which are trained in different cultural contexts, i.e., ChatGPT, a US-based LLM, or Ernie, a China-based LLM. People shared both observations of gender bias in their personal use and scientific findings about gender bias in LLMs. A difference between the two LLMs was seen -- ChatGPT was more often found to carry implicit gender bias, e.g., associating men and women with different profession titles, while explicit gender bias was found in Ernie's responses, e.g., overly promoting women's pursuit of marriage over career. Based on the findings, we reflect on the impact of culture on gender bias and propose governance recommendations to regulate gender bias in LLMs.

연구 동기 및 목표

• 미국 기반의 ChatGPT와 중국 기반의 Ernie 간 문화적 맥락에 따라 LLM 내 성별 편향에 대한 대중의 인식이 어떻게 다를지 이해하는 것.
• 소셜 미디어에서 사용자들이 ChatGPT와 Ernie에 대해 보고한 성별 편향의 유형과 표현 양상을 특정하는 것.
• 문화적 규범이 대규모 언어 모델 내 성별 편향의 표현과 인식에 어떻게 영향을 미치는지 분석하는 것.
• 공개 논의와 문화적 맥락을 바탕으로, 성별 편향을 완화하기 위한 맥락 민감한 거버넌스 프레임워크를 제안하는 것.

제안 방법

• Twitter(ChagtGPT)와 Weibo(Ernie)의 소셜 미디어 논의를 비교적 주제 분석하여, 검색어 'gender bias in chatgpt'와 'gender bias in Ernie'를 활용한다.
• 2022년 11월부터 2023년 8월까지 9개월간의 ChatGPT 관련 논의와 6개월간의 Ernie 관련 논의를 수집 및 분석하였으며, 이론적 포화에 도달할 때까지 진행하였다.
• 오픈 코드 및 머릿니 맵핑(XMind)을 활용해 주제, 부주제 및 대표 사용자 발언을 계층적 구조로 정리하였다.
• 직업 연관성에서의 암묵적 편향, 전통적인 성별 역할 홍보, 과학적 발견의 사용자 기반 확산 등 반복적인 주제를 식별하였다.
• 기존의 규제 및 윤리적 프레임워크(예: GDPR, CCPA, ADA, 차별 금지법)와 공개 인식을 연결하여 맵핑하였다.
• 데이터 보호, 편향 금지 법률, AI 교육을 바탕으로 한 거버넌스 권고안을 제안하였다.

실험 결과

연구 질문

• RQ1 미국 기반의 ChatGPT 사용자와 중국 기반의 Ernie 사용자 간 성별 편향에 대한 대중의 인식은 어떻게 다를까?
• RQ2 소셜 미디어 논의에서 이러한 LLM에 대해 가장 자주 보고된 성별 편향의 유형은 암묵적 편향인지, 명시적 편향인지?
• RQ3 문화적 맥락이 대규모 언어 모델 내 성별 편향의 표현과 인식에 어떻게 영향을 미치는가?
• RQ4 사용자들이 성별 편향에 관한 과학적 발견을 얼마나 자주 공유하며, 이는 공개 논의에 어떤 영향을 미치는가?
• RQ5 공개 인식을 바탕으로, 문화적으로 내재된 성별 편향을 효과적으로 해결할 수 있는 거버넌스 전략은 무엇인가?

주요 결과

• ChatGPT는 주로 암묵적 성별 편향과 연관되었으며, 응답 생성 과정에서 남성은 과학기술(STEM) 직업, 여성은 양육 역할에 대해 전형적인 성별 고정관념을 반영하였다.
• Ernie는 명시적 성별 편향을 보였으며, 여성의 경력보다 결혼을 우선시하는 전통적인 성별 역할을 홍보하는 응답을 포함하였다.
• 소셜 미디어에서 사용자들은 둘 다의 모델을 일상적인 상호작용에서 자주 관찰하고 비판하였으며, 특히 직업 및 역할 연관성에서의 편향에 주목하였다.
• ChatGPT 논의의 상당 부분은 편향에 관한 과학적 연구를 언급하여, 이 문제에 대한 대중의 인식이 점차 증가하고 있음을 시사한다.
• Ernie 논의는 빈도가 낮고 문화적 규범에 대한 비판이 더 강했으며, 지역 문화 가치와 인식된 편향 간의 더 강한 연관성이 있음을 시사한다.
• 이 연구는 데이터 보호법(GDPR, CCPA), 차별 금지 법률, AI 교육이 LLM 내 성별 편향에 대한 효과적인 거버넌스를 위한 핵심 요소임을 규명하였다.