[논문 리뷰] Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications

Vishesh Thakur|arXiv (Cornell University)|2023. 07. 18.

Ethics and Social Impacts of AI인용 수 12

한 줄 요약

본 논문은 직업 관련 성별 패턴과 대명사 사용을 조사하여 GPT-2와 GPT-3.5의 성별 편향을 분석하고, 사회학적 영향에 대해 논의하며 완화 전략을 제시한다.

ABSTRACT

Gender bias in artificial intelligence (AI) and natural language processing has garnered significant attention due to its potential impact on societal perceptions and biases. This research paper aims to analyze gender bias in Large Language Models (LLMs) with a focus on multiple comparisons between GPT-2 and GPT-3.5, some prominent language models, to better understand its implications. Through a comprehensive literature review, the study examines existing research on gender bias in AI language models and identifies gaps in the current knowledge. The methodology involves collecting and preprocessing data from GPT-2 and GPT-3.5, and employing in-depth quantitative analysis techniques to evaluate gender bias in the generated text. The findings shed light on gendered word associations, language usage, and biased narratives present in the outputs of these Large Language Models. The discussion explores the ethical implications of gender bias and its potential consequences on social perceptions and marginalized communities. Additionally, the paper presents strategies for reducing gender bias in LLMs, including algorithmic approaches and data augmentation techniques. The research highlights the importance of interdisciplinary collaborations and the role of sociological studies in mitigating gender bias in AI models. By addressing these issues, we can pave the way for more inclusive and unbiased AI systems that have a positive impact on society.

연구 동기 및 목표

• GPT-2와 GPT-3.5 출력에서 직업과 관련된 성별 편Bias를 평가한다.
• 생성된 텍스트에서 성별화된 단어 연결 및 서사를 특징짓는 역할
• 이 편향의 윤리적 함의와 사회적 영향에 대해 논의한다.
• 데이터, 알고리즘, 학제 간 접근을 통한 편향 감소 전략을 제안한다.

제안 방법

• GPT-2(GPT-2-Large, 774M 매개변수) 및 GPT-3.5(ChatGPT May24, 2023)에서 직업 관련 프롬프트를 사용하여 생성된 텍스트 샘플을 수집하고 전처리한다.
• 생성물에서 성별화된 용어 빈도 및 성별-단어 연결을 정량적으로 분석한다.
• 생성된 이야기에서 남성, 여성, 중립 카테고리를 추출하여 대명사 사용을 분석한다.
• 출력에서 명시적 및 암묵적 성별 편향을 포착하기 위해 반복적 정제를 수행한다.
• 두 모델 간 편향 패턴을 비교하여 모델 특유의 편향을 식별한다.

실험 결과

연구 질문

• RQ1 GPT-2와 GPT-3.5의 직업 관련 프롬프트에서 어떤 성별 연결이 나타나는가?
• RQ2 GPT-2와 GPT-3.5 출력 간 대명사 분포(남성, 여성, 중립)는 어떻게 다른가?
• RQ3 관찰된 이 편향으로부터 발생하는 윤리적 및 사회적 함의는 무엇인가?
• RQ4 데이터, 알고리즘적 접근 및 학제 간 방법으로 GPT-2와 GPT-3.5의 성별 편향을 완화할 수 있는 전략은 무엇인가?

주요 결과

• GPT-2와 GPT-3.5는 남성 연결 대명사를 여성 연결 대명사보다 더 자주 보인다.
• 직업 프롬프트에서 출력은 전통적으로 남성적인 역할에 남성 이름의 점유자를, 여성 이름의 점유자를 더 다소 부드러운 역할에 배정하는 경향이 있으며, 모델에 따라 차이가 있다.
• GPT-2는 Doctor, Carpenter, Plumber, Engineer, Nurse, Teacher 등 직업에서 특정 성별의 과도한 표현을 나타내며 편향된 서사를 시사한다.
• GPT-3.5는 GPT-2에 비해 성별 편향이 다소 감소하는 모습을 보이나 대명사 사용과 성별 연결에서 편향이 여전히 존재한다.
• 본 연구는 윤리적 우려를 강조하고 데이터 다각화, 편향 제거 기술, 투명성, 학제 간 협력을 통해 편향을 완화할 것을 제안한다.