[논문 리뷰] Analysing Gender Bias in Text-to-Image Models using Object Detection

Harvey Mannering|arXiv (Cornell University)|2023. 07. 16.

Handwritten Text Recognition Techniques인용 수 4

한 줄 요약

이 논문은 텍스트-이미지 모델의 성별 편향을 측정하기 위해 새로운 방법을 제안한다. 짝지어진 성별 프롬프트(예: '남성이 물건을 들고 있다' 대비 '여성이 물건을 들고 있다')를 사용해 이미지를 생성하고, 객체 검출을 통해 성별에 연관된 물체를 분석한다. 주요 발견은 스테이블 디퓨전이 강한 성별 연관성을 보이며, 남성은 넥타이, 칼, 자전거와 더 자주 연결되고, 여성은 핸드백, bot, 컵과 더 자주 연결된다는 것이다. 카이제곱 p-값 0.000009는 이 편향이 유의미하다는 것을 시사한다.

ABSTRACT

This work presents a novel strategy to measure bias in text-to-image models. Using paired prompts that specify gender and vaguely reference an object (e.g. "a man/woman holding an item") we can examine whether certain objects are associated with a certain gender. In analysing results from Stable Diffusion, we observed that male prompts generated objects such as ties, knives, trucks, baseball bats, and bicycles more frequently. On the other hand, female prompts were more likely to generate objects such as handbags, umbrellas, bowls, bottles, and cups. We hope that the method outlined here will be a useful tool for examining bias in text-to-image models.

연구 동기 및 목표

• 객체 검출을 사용하여 텍스트-이미지 모델의 성별 편향을 탐지하기 위한 새로운 개방형 방법을 개발하기 위해.
• 텍스트-이미지 모델이 특정 물체를 남성 또는 여성 성별 프롬프트와 어떻게 연관시키는지 조사하기 위해.
• 스테이블 디퓨전과 DALL·E 미니와 같은 다양한 모델 간의 편향 수준을 비교하기 위해.
• 훈련 데이터의 편향이 물체 빈도 분석을 통해 모델 생성 이미지에 반영되는지 확인하기 위해.
• 이와 같은 프레임워크를 활용해 인종, 연령 관련 편향 등 다른 형태의 편향을 탐지하기 위한 기초를 마련하기 위해.

제안 방법

• 성별 주제(예: '남성', '여성', '소년', '소녀')와 모호한 물체 참조를 포함한 50개의 템플릿 프롬프트를 사용하여, 각 모델당 1000장의 이미지를 생성하였다.
• 디퓨전 과정에서 일관된 노이즈를 확보하기 위해 짝지어진 남성/여성 프롬프트에 고정된 난수 시드를 사용하였다.
• 생성된 이미지 내의 객체를 식별하고 수를 세기 위해 YOLOv3를 사용하여 객체 검출을 수행하였다.
• 남성 및 여성 프롬프트 간의 객체 검출 빈도를 비교하여 성별 연관성을 평가하였다.
• 남성과 여성 간의 객체 분포 패턴 간의 통계적 차이를 정량화하기 위해 카이제곱 검정을 적용하였다.
• 유의미한 발견에 집중하기 위해 최소 발생 기준(스테이블 디퓨전은 9회, DALL·E 미니는 4회)을 기준으로 결과를 필터링하였다.

Figure 2: Object detection was run on text-to-image generated images. The y-axis shows the number of instances of a particular object that occurred in the results. Objects are listed on the x-axis. Blue bars correspond to the objects generated from male prompts and the pink bars correspond to object

실험 결과

연구 질문

• RQ1 텍스트-이미지 모델은 특정 물체를 남성과 여성 성별 프롬프트와 어떻게 연관시키는가?
• RQ2 스테이블 디퓨전과 DALL·E 미니와 같은 모델이 통계적으로 유의미한 성별 연관성을 얼마나 보이는가?
• RQ3 객체 검출기의 선택(예: YOLOv3)이 성별 편향 탐지 및 해석에 어떻게 영향을 미치는가?
• RQ4 객체 검출을 통해 생성된 이미지에서 전통적인 성별 역할(예: 가정적, 직업적 연관성)을 드러낼 수 있는가?
• RQ5 모델 고유의 훈련 선택(예: OpenAI의 DALL·E에서의 편향 완화 기법)이 관찰된 편향 수준에 어떤 영향을 미치는가?

주요 결과

• 스테이블 디퓨전에서 남성 프롬프트는 넥타이를 38번 생성했고, 여성 프롬프트에서는 오직 5번이었다. 이는 강력한 성별 연관성을 시사한다.
• 스테이블 디퓨전에서 여성 프롬프트는 Bowls를 9번 생성했고, 남성 프롬프트에서는 3번이었다. 이는 가정적 전통적 역할을 반영한다.
• 스테이블 디퓨전에서 병과 컵은 여성 프롬프트에서 각각 5회와 7회 생성되었고, 남성 프롬프트에서는 각각 1회와 2회였다.
• 카이제곱 검정 결과 스테이블 디퓨전의 p-값은 0.000009로, 객체 분포에서 매우 유의미한 성별 편향이 있음을 나타낸다.
• DALL·E 미니는 p-값 0.04172를 기록하여 스테이블 디퓨전보다 덜 편향되었지만, 전체적으로 검출된 객체 수가 적었다.
• 두 모델의 남성 프롬프트는 칼, 트럭, 야구방망이, 자전거와 같은 물체를 더 자주 생성하여 전통적인 성별 역할을 강화한다.