[논문 리뷰] A Friendly Face: Do Text-to-Image Systems Rely on Stereotypes when the Input is Under-Specified?

Kathleen Fraser, Svetlana Kiritchenko외 1명|arXiv (Cornell University)|2023. 02. 14.

Social and Intergroup Psychology인용 수 12

한 줄 요약

이 논문은 텍스트-이미지 모델(DALL-E 2, Midjourney, Stable Diffusion)에서의 과소 명시 프롬프트가 ABC 모델의 사회 인지에 따른 인구통계적 고정관념을 생성된 얼굴에서 유도하는지 여부를 조사한다.

ABSTRACT

As text-to-image systems continue to grow in popularity with the general public, questions have arisen about bias and diversity in the generated images. Here, we investigate properties of images generated in response to prompts which are visually under-specified, but contain salient social attributes (e.g., 'a portrait of a threatening person' versus 'a portrait of a friendly person'). Grounding our work in social cognition theory, we find that in many cases, images contain similar demographic biases to those reported in the stereotype literature. However, trends are inconsistent across different models and further investigation is warranted.

연구 동기 및 목표

• prompts lack explicit demographic detail로 명시적 인구통계 세부 정보가 부족할 때 텍스트-이미지 출력의 편향과 다양성에 대한 탐구를 자극한다.
• ABC Model of social cognition (Agency, Beliefs, Communion)으로 분석을 근거 삼아 프롬프트를 인구통계 추론에 매핑한다.
• 세 가지 인기 모델이 ABC 차원에서 도출된 특성에 대해 고정관념적 인구통계 재현 여부를 평가한다.
• 생성된 이미지의 지각된 인구통계 특성 주석에 있어 주석자 간 신뢰도와 모호성 처리 를 평가한다.
• 모델 설계 및 추론 단계와 학습 단계에서의 편향 완화 전략에 대한 시사점을 논의한다.

제안 방법

• 세 가지 모델(DALL-E 2, Midjourney, Stable Diffusion)에서 이미지 생성을 위해 'portrait of a <adjective> person' 형식의 프롬프트를 사용한다.
• ABC 특성(높은/낮은 Agency, Beliefs, Communion)을 가진 프롬프트를 적용하고 각 특성 극에서 다수의 이미지를 생성하여 편향을 평가한다.
• 세 명의 주석가를 통해 생성된 이미지의 지각된 성별, 피부색, 연령을 주석화한 후 주석을 평균화하여 인구통계 점수를 얻는다.
• 코헨의 카파를 이용해 주석자 간 일치를 분석하고 모델 간 차이를 보고한다.
• AIAO 대 Diversity(AIDO) 전략의 모호성 처리와 그 비율을 보고한다.

실험 결과

연구 질문

• RQ1 과소 명시된 사회적 특성으로 프롬프트될 때 텍스트-이미지 모델이 인구통계 편향을 재현하는가?
• RQ2 다른 모델(DALL-E 2, Midjourney, Stable Diffusion)이 ABC-모델 프롬프트에 대해 성별, 피부색, 연령 경향에서 어떻게 다른가?
• RQ3 모델 간 교차적으로 보이는 편향(예: 피부가 어두운 남성과의 연관성)이 관찰되는가?
• RQ4 출력 편향 형성에서 과소 명시성, 모호성, 프롬프트 엔지니어링의 역할은 무엇인가?
• RQ5 이러한 편향이 디바이어싱 접근법과 모델 설계에 어떤 시사점을 주는가?

주요 결과

• 모델은 ABC 차원에 따른 특유의 편향을 보이며 모든 특성이 고정관념적 이미지를 생성하는 것은 아니지만, 특정 패턴이 모델별로 존재한다.
• Midjourney와 Stable Diffusion은 피부색이 밝고 연령이 더 어린 피사체를 만드는 경향이 있으며, DALL-E는 기본적으로 남성 과다 representation을 보이는 경향이 있다.
• 높은 Agency 프롬프트는 일부 모델에서 남성 성별로 편향되고 높은 Community는 여성 외관으로 편향되는 경향이 관찰되며, 낮은 Community는 다른 모델에서 남성 편향을 보이는 경우가 있다.
• 진보적 신념은 Midjourney에서 피부가 밝은 경향과 관련이 있는 반면, DALL-E와 Stable Diffusion은 일부 사례에서 낮은 Community와 밝은 피부를 연결하는 경향을 보인다.
• 교차섹션 분석은 어두운 피부의 남성이 '가난함' 형용사와 연관되는 경향을 보이며 어두운 피부의 여성은 덜 대표되는 경향을 보인다.
• 모호성 처리(AIAO)는 일부 경우에 명시적 인구통계 단서를 줄여주지만 주된 분석 초점은 아니다.