[논문 리뷰] Auditing Gender Presentation Differences in Text-to-Image Models

Yanzhe Zhang, Lu Jiang외 2명|arXiv (Cornell University)|2023. 02. 07.

Human Motion and Animation인용 수 8

한 줄 요약

본 논문은 GEP 지표를 도입하여 텍스트-이미지 모델의 속성 단위 성별 표현 차이를 정량화하고, CLIP 공간에서 구축된 교차 모달 분류기를 통한 자동 GEP 추정을 제안합니다. 이것은 CLIP 단독보다 세 가지 모델에 걸쳐 인간 주석과의 상관관계가 더 높음을 보입니다.

ABSTRACT

Text-to-image models, which can generate high-quality images based on textual input, have recently enabled various content-creation tools. Despite significantly affecting a wide range of downstream applications, the distributions of these generated images are still not fully understood, especially when it comes to the potential stereotypical attributes of different genders. In this work, we propose a paradigm (Gender Presentation Differences) that utilizes fine-grained self-presentation attributes to study how gender is presented differently in text-to-image models. By probing gender indicators in the input text (e.g., "a woman" or "a man"), we quantify the frequency differences of presentation-centric attributes (e.g., "a shirt" and "a dress") through human annotation and introduce a novel metric: GEP. Furthermore, we propose an automatic method to estimate such differences. The automatic GEP metric based on our approach yields a higher correlation with human annotations than that based on existing CLIP scores, consistently across three state-of-the-art text-to-image models. Finally, we demonstrate the generalization ability of our metrics in the context of gender stereotypes related to occupations.

연구 동기 및 목표

• 텍스트-이미지 생성에서 속성 수준의 성별 표현 차이(GEP)를 정의하고 정량화한다.
• 중립적이고 명시적인 프롬핑 프레임워크를 도입하여 성별 프롬프트가 생성된 이미지의 속성 존재에 어떤 영향을 미치는지 측정한다.
• 인간 주석과 상관관계가 있는 자동 GEP 추정 방법을 개발하고 CLIP 기반 접근법보다 개선한다.
• 여러 최첨단 모델에서 GEP를 평가하여 모델별 표현 차이를 이해하고 직업 고정관념으로 일반화한다.

제안 방법

• 중립적 및 명시적 설정에서 'a woman' 프롬프트와 'a man' 프롬프트로 생성된 이미지 간 속성 빈도 차이를 각 차원이 측정하는 GEP 벡터를 정의한다.
• 표현 속성을 분석하기 위해 ConceptNet과 COCO 기반 맥락에서 속성 집합 A와 맥락 집합 C를 구성한다.
• GEP 벡터의 정규화된 L1 노름으로 GEP를 계산하여 전반적인 성별 표현 차이에 대한 모델 간 비교를 가능하게 한다.
• CLIP 임베딩 공간에서 학습된 보정 및 교차 모달 속성 분류기를 활용한 CLIP 기반 유사도를 사용하여 속성 빈도의 자동 추정을 제안한다.
• 텍스트 임베딩에서 다중(앙상블) 속성 분류기를 학습시켜 이미지의 속성 존재를 예측하고, 인간 판단과 상관관계가 있는 CLS-f_a 측정을 가능하게 한다.
• 자동 GEP와 인간 GEP 간의 교차 모델 상관관계를 Kendall’s tau와 MCC로 평가하고, 자동 방법(C-f_a, CC-f_a, CLS-f_a)을 인간 주석과 대조한다.

실험 결과

연구 질문

• RQ1 성별 특정 신호로 프롬프트를 제공했을 때 텍스트-이미지 모델은 생성된 이미지에서 성별 속성을 어떻게 다르게 표현하는가?
• RQ2 자동 GEP 추정 프레임워크가 인간이 주석한 GEP에 근접하게 근사하고 확장 가능한 평가 도구로 활용될 수 있는가?
• RQ3 GEP 기반 분석이 모델별 경향과 생성된 이미지의 직업 관련 고정관념을 드러내는가?

주요 결과

• GEP는 여성은 드레스, 남성은 정장과 같은 일반적인 고정관념과 일치하는 속성 수준의 성별 표현 차이를 여러 모델에서 포착한다.
• 명시적 프롬프트는 중립 프롬프트보다 표현 차이를 더 크게 확대하며, 모델마다 크기가 다르게 나타난다.
• DALL-E 2는 더 강한 성별-속성 결합과 더 높은 이미지 품질(CLP 점수로 표시)을 보이는 경향이 있지만 다른 모델과는 다른 속성 상관관계를 보인다.
• CLIP에서 파생된 특징(C-f_a, CC-f_a, CLS-f_a)을 기반으로 한 자동 GEP 추정기가 원시 CLIP 유사도보다 인간 GEP와의 상관관계가 더 강하게 나타나 인간 판단과의 정렬이 개선됨을 보여준다.
• GEP 기반 분석은 직업 관련 고정관念으로 일반화되어 넓은 성별 분류를 넘어서는 유용성을 입증한다.