[논문 리뷰] Smiling Women Pitching Down: Auditing Representational and Presentational Gender Biases in Image Generative AI

Luhang Sun, Mian Wei외 4명|arXiv (Cornell University)|2023. 05. 17.

Ethics and Social Impacts of AI인용 수 14

한 줄 요약

이 논문은 15,300개의 프롬프트를 통해 DALL-E 2 이미지의 성별 편향을 153개 직업에 걸쳐 감사하고, 인구조사 데이터와 Google 이미지에 대한 표현적·표현형 편향을 평가합니다. 남성이 지배하는 분야에서 여성의 과소 대표 및 여성 지배 분야에서의 과대 대표, 그리고 미소와 머리 기울기에서의 편향을 발견합니다.

ABSTRACT

Generative AI models like DALL-E 2 can interpret textual prompts and generate high-quality images exhibiting human creativity. Though public enthusiasm is booming, systematic auditing of potential gender biases in AI-generated images remains scarce. We addressed this gap by examining the prevalence of two occupational gender biases (representational and presentational biases) in 15,300 DALL-E 2 images spanning 153 occupations, and assessed potential bias amplification by benchmarking against 2021 census labor statistics and Google Images. Our findings reveal that DALL-E 2 underrepresents women in male-dominated fields while overrepresenting them in female-dominated occupations. Additionally, DALL-E 2 images tend to depict more women than men with smiling faces and downward-pitching heads, particularly in female-dominated (vs. male-dominated) occupations. Our computational algorithm auditing study demonstrates more pronounced representational and presentational biases in DALL-E 2 compared to Google Images and calls for feminist interventions to prevent such bias-laden AI-generated images to feedback into the media ecology.

연구 동기 및 목표

• 153개 직업에 걸친 DALL-E 2 이미지에서 표상적 성별 편향(여성과 남성의 직업 분포)을 평가합니다.
• 직업별로 DALL-E 2 이미지에서 표현적 성별 편향(얼굴 표정과 얼굴 방향)을 평가합니다.
• DALL-E 2 편향을 2021년 인구조사 노동 통계 및 Google Images와 비교하여 벤치마크합니다.
• AI 생성 이미지의 편향을 완화하기 위한 증거를 제시하고 페미니스트 개입을 촉구합니다.

제안 방법

• 153개 직업에서 파생된 프롬프트로 생성된 15,300장의 DALL-E 2 이미지 데이터셋을 수집합니다.
• 여성-남성의 표현을 인구조사 노동 통계와 비교하여 표상적 편향을 정량화합니다.
• 성별과 직업별로 얼굴 표정(미소)과 머리 기울기(아래 방향)를 분석하여 표현적 편향을 정량화합니다.
• Google Images에 대해 편향을 벤치마크하여 편향의 증폭 여부를 평가합니다.
• 생성된 이미지의 편향 특성을 정량화하기 위해 계산적 감사를 위한 알고리즘을 개발하고 적용합니다.
• 미디어 생태계에 대한 시사점과 잠재적 페미니스트 개입에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 DALL-E 2 생성 이미지가 남성 지배 직업에서 여성을 과소대표하고 여성 지배 직업에서 과대표하는가?
• RQ2 특히 여성 지배 직업에서 DALL-E 2 이미지는 미소를 띤 여성의 비율이 남성보다 더 많고 머리 기울기가 아래로 향하는 모습을 더 많이 나타내는가?
• RQ3 표상적 및 표현적 편향 측면에서 DALL-E 2 편향은 Google Images와 어떻게 비교되는가?
• RQ4 언론 생태계에 영향을 미치는 편향이 많은 AI 생성 이미지를 완화할 수 있는 개입은 무엇인가?

주요 결과

• DALL-E 2는 남성 지배 분야에서 여성을 과소 대표하고 여성 지배 직업에서 여성을 과대 대표한다.
• DALL-E 2 이미지들은 미소를 짓는 여성과 머리 기울기가 아래인 경우가 남성보다 더 많게 묘사하는 경향이 있다.
• 대표적 및 표현적 차원 모두에서 DALL-E 2의 편향은 Google Images보다 더 뚜렷하다.
• 편향 증폭은 미디어 생태계에 대한 잠재적 피드백을 시사하며 페미니스트 개입이 필요하다.