[논문 리뷰] Stereotypes and Smut: The (Mis)representation of Non-cisgender Identities by Text-to-Image Models

Eddie L. Ungless, Björn Roß외 1명|arXiv (Cornell University)|2023. 05. 26.

Cinema and Media StudiesEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 수동 분석, 설문 조사 및 비시계성 개인들의 인터뷰를 통해 텍스트-이미지 모델이 비시계성 정체성을 어떻게 고정관념화, 성적화, 비인간화하는지 조사한다. 모델 출력 분석 결과, 비시계성 정체성에 대해 일관되게 현실감이 떨어지고 더 성적화되며 더 고정관념화된 이미지를 생성하는 것으로 드러났으며, 윤리적이고 포용적인 AI 개발을 위해 공동체 주도의 설계, 코어레이티드 트레이닝 데이터, 사용자 맞춤형 표현 방식을 권장한다.

ABSTRACT

Cutting-edge image generation has been praised for producing high-quality images, suggesting a ubiquitous future in a variety of applications. However, initial studies have pointed to the potential for harm due to predictive bias, reflecting and potentially reinforcing cultural stereotypes. In this work, we are the first to investigate how multimodal models handle diverse gender identities. Concretely, we conduct a thorough analysis in which we compare the output of three image generation models for prompts containing cisgender vs. non-cisgender identity terms. Our findings demonstrate that certain non-cisgender identities are consistently (mis)represented as less human, more stereotyped and more sexualised. We complement our experimental analysis with (a)~a survey among non-cisgender individuals and (b) a series of interviews, to establish which harms affected individuals anticipate, and how they would like to be represented. We find respondents are particularly concerned about misrepresentation, and the potential to drive harmful behaviours and beliefs. Simple heuristics to limit offensive content are widely rejected, and instead respondents call for community involvement, curated training data and the ability to customise. These improvements could pave the way for a future where change is led by the affected community, and technology is used to positively ``[portray] queerness in ways that we haven't even thought of'' rather than reproducing stale, offensive stereotypes.

연구 동기 및 목표

• 비시계성 정체성과 시계성 정체성 간의 텍스트-이미지 모델의 표현 방식을 비교하여 유해한 편향을 조사한다.
• 수동 분석을 통해 탈인간화, 성적화, 고정관념화와 같은 특정 형태의 왜곡 표현을 규명한다.
• 설문 조사와 인터뷰를 통해 비시계성 공동체가 예상하는 해로움과 바라는 표현 방식을 이해한다.
• 공동체의 피드백을 바탕으로 모델 개발자에게 실천 가능한 권고안을 제시하며, 공동체 참여와 코어레이티드 트레이닝 데이터의 중요성을 강조한다.
• 기술 중심의 해결책을 도전하며, 유타된 공동체의 목소리를 중심에 두고 윤리적 AI 표현을 설계하는 데 초점을 맞춘다.

제안 방법

• 세 개의 텍스트-이미지 모델(예: Stable Diffusion)의 출력을 비교하는 수동 주석 연구를 수행하여, 시계성 대비 비시계성 정체성 어휘를 포함한 프롬프트에 대한 결과를 분석한다.
• 생성된 이미지의 사실성, 얼굴 특징의 존재 여부, 성적화 수준, 고정관념적인 특징(예: 퀴어 페스티벌 플래그 색상, 과도하게 강조된 성별 특징 등)을 분석한다.
• 비시계성 개인을 대상으로 설문 조사를 실시하여 AI 생성 이미지에서 예상되는 해로움과 선호하는 표현 방식을 파악한다.
• 비시계성 참가자들과의 반구조화된 인터뷰를 통해 왜곡 표현의 경험과 바라는 모델 행동 방식을 탐구한다.
• 정성적 주제 분석을 통해 설문 조사 및 인터뷰 데이터를 해석하며, 왜곡 표현, 대상화, 피해에 대한 우려를 중심으로 분석한다.
• 분석을 위해 모델 생성 이미지 데이터셋을 수집하고 코어레이팅하였으며, 오직 오용 방지를 위해 요청 시에만 공개한다.

Figure 1: Four images generated by Stable Diffusion model in response to “Transgender women” . The black square indicates the model did not produce an output due to risk of NSFW content.

실험 결과

연구 질문

• RQ1 텍스트-이미지 모델은 비시계성 정체성과 시계성 정체성 간의 현실감, 성적화, 고정관념화 측면에서 어떤 차이를 보이는가?
• RQ2 비시계성 개인들은 AI 생성 이미지에서 자신의 정체성을 어떻게 표현할 경우 해로움을 예상하는가?
• RQ3 비시계성 공동체는 향후 텍스트-이미지 모델에서 자신들이 어떻게 표현되기를 바라는가?
• RQ4 영향을 받는 공동체가 유해한 표현을 줄이기 위해 선호하는 기술적 및 설계적 개선 조치는 어떤 것인가?
• RQ5 현재의 기술적 해결책(예: 콘텐츠 필터)은 비시계성 사용자의 필요와 가치와 얼마나 일치하는가?

주요 결과

• 텍스트-이미지 모델은 비시계성 정체성에 대해 일관되게 현실감이 떨어지고 더 성적화되며 더 고정관념화된 이미지를 생성한다. 특히 트랜스젠더 여성과 비성별 개인에 대해 두드러진다.
• 비시계성 정체성에 대한 생성된 이미지 중 상당수는 명확한 얼굴 특징이 없으며, 고정관념적인 색상(예: 퀴어 페스티벌 플래그 색상)으로 렌더링되어 비인간화를 야기한다.
• 비시계성 설문 응답자들은 특히 사회적 신념을 강화하고 차별적 행동을 가능하게 할 위험으로 인해 왜곡 표현에 대해 강한 우려를 표명했다.
• 콘텐츠 필터와 같은 단순한 기술적 수정은 참가자들 사이에서 널리 기각되었으며, 대신 공동체 참여와 코어레이티드 트레이닝 데이터를 우선시했다.
• 인터뷰 참가자들은 사용자 맞춤형 표현의 필요성과, 토큰리즘과 편향을 피하기 위해 소외된 공동체를 모델 개발에 참여시키는 것이 중요하다고 강조했다.
• 본 연구는 기술 중심의 해결책과 공동체 기반 설계 사이의 격차를 드러내며, 창의적이고 고정관념적이지 않은 방식으로 레즈비언 정체성을 반영하는 모델 개발을 주장한다.

(a) Photorealism