[논문 리뷰] Towards Understanding Gender-Seniority Compound Bias in Natural Language Generation

Samhita Honnavalli, Aesha Parekh외 5명|arXiv (Cornell University)|2022. 05. 19.

Text Readability and Simplification인용 수 7

한 줄 요약

이 논문은 미국 상원과 교수직 영역에서 유도 감독된 데이터셋을 사용하여 자연어 생성에서 복합적 성별-연령 편향을 연구하기 위한 새로운 프레임워크를 제안한다. GPT-2는 여성과 더 자주 연장자 역할을 연결하고 남성과 고위 직위를 연결함으로써 편향을 악화시키며, 초급 교수 프롬프트에서는 남성어 사용을 8.3% 증가시키고, 실제 값 대비 조교수 여성의 비율을 18.5% 과대평가한다.

ABSTRACT

Women are often perceived as junior to their male counterparts, even within the same job titles. While there has been significant progress in the evaluation of gender bias in natural language processing (NLP), existing studies seldom investigate how biases toward gender groups change when compounded with other societal biases. In this work, we investigate how seniority impacts the degree of gender bias exhibited in pretrained neural generation models by introducing a novel framework for probing compound bias. We contribute a benchmark robustness-testing dataset spanning two domains, U.S. senatorship and professorship, created using a distant-supervision method. Our dataset includes human-written text with underlying ground truth and paired counterfactuals. We then examine GPT-2 perplexity and the frequency of gendered language in generated text. Our results show that GPT-2 amplifies bias by considering women as junior and men as senior more often than the ground truth in both domains. These results suggest that NLP applications built using GPT-2 may harm women in professional capacities.

연구 동기 및 목표

• 사전 학습된 언어 모델인 GPT-2에서 연령이 성별 편향과 어떻게 복합적으로 작용하는지 조사하기 위해.
• 일반적으로 성별 편향을 독립적으로 연구하는 데서 그치는 NLP 연구의 격차를 메우기 위해, 상호작용적 사회적 편향을 고려하지 않은 점을 해결하기 위해.
• 자연어 생성에서 복합 편향을 평가하기 위한 견고한 벤치마크 데이터셋을 개발하기 위해.
• 연령이 자연어 생성 모델에서 기존의 성별 편향을 상당히 악화시킨다는 것을 입증하기 위해, 특히 전문 직위 기술에서 그러한 영향을 강조하기 위해.

제안 방법

• 미국 상원의원과 컴퓨터공학 교수의 경우를 대상으로 구글 검색 결과와 인간 검증된 진짜 값으로 구성된 유도 감독된 데이터셋을 구축하였다.
• 원본 인간이 작성한 텍스트 샘플에서 성별과 연령 레이블을 뒤바꿔 반사적 대체 문장을 생성하였다.
• GPT-2를 사용하여 다양한 연령(초급/고위)과 성별(남성/여성) 레이블이 포함된 프롬프트에서 텍스트를 생성하였다.
• 생성된 출력물에서 퍼즐러피티와 성별 언어 빈도를 측정하여 편향을 측정하였다.
• AMT 기반 인간 평가를 통해 생성된 텍스트의 성별 언어를 분류하고 진짜 값 분포와 비교하였다.
• 두 표본 z-검정을 적용하여 진짜 값과 관측된 성별 언어 빈도 간의 차이를 통계적으로 검정하였다.

실험 결과

연구 질문

• RQ1 연령이 GPT-2의 텍스트 생성에서 성별 편향 정도에 어떻게 영향을 미치는가?
• RQ2 GPT-2는 여성과 더 자주 초급 직위를 연결하고 남성과 더 자주 고위 직위를 연결함으로써 표현 편향을 얼마나 악화시키는가?
• RQ3 성별과 연령의 복합 편향은 학술 및 정치 분야에서 승진 편향을 증가시키는가?
• RQ4 연령을 명시함으로써(예: '초급 상원의원' 대비 '상원의원') 모델의 성별 언어 출력에 어떤 영향을 미치는가?
• RQ5 유도 감독된 데이터셋은 자연어 생성 모델에서 복합 성별-연령 편향을 효과적으로 캡처하고 벤치마크화할 수 있는가?

주요 결과

• GPT-2는 '고위 상원의원' 프롬프트를 받을 경우 실제 값 대비 남성어 사용 비율을 8.3% 과대평가한다.
• 조교수 프롬프트의 경우, GPT-2는 실제 값 대비 여성어 사용 비율을 18.5% 더 많이 생성하여 승진 편향이 악화됨을 나타낸다.
• '초급 상원의원' 프롬프트를 받을 경우, GPT-2는 연령이 명시되지 않은 경우보다 여성어 사용 비율을 7% 더 많이 생성한다.
• 중립 프롬프트에 비해 '고위 상원의원' 프롬프트를 받을 경우, 여성어 사용 비율은 1.4% 감소하고 남성어 사용 비율은 1.4% 증가한다.
• 교수직 영역에서 GPT-2는 실제 진짜 값 대비 조교수 여성 비율을 18.5% 과대평가하고, 부교수 여성 비율을 11.5% 과대평가한다.
• 통계적 검정 결과, 모든 경우에서 관측된 성별 언어 격차는 유의미하다(p < 0.05), 유일한 예외는 남성 고위 상원의원과 남성 초급 상원의원의 경우이다.