[논문 리뷰] How well can Text-to-Image Generative Models understand Ethical Natural Language Interventions?

Hritik Bansal, Da Yin외 2명|arXiv (Cornell University)|2022. 10. 27.

Computational and Text Analysis Methods인용 수 7

한 줄 요약

이 논문은 성별, 피부색, 문화권에 걸쳐 공정한 표현을 촉진하는 윤리적 자연어 간섭을 받은 텍스트-이미지 생성 모델의 반응을 평가하기 위한 벤치마크 ENTIGEN을 소개한다. '성별에 관계없이'와 같은 간섭 조건이 이미지의 다양성을 높여주며, 특히 성별 및 문화적 편향을 감소시키는 데 기여함과 동시에 이미지 품질을 손상시키지 않는 것으로 나타났다. 이는 언어적 신호를 통해 모델을 공정성 방향으로 이끌 수 있음을 시사한다.

ABSTRACT

Text-to-image generative models have achieved unprecedented success in generating high-quality images based on natural language descriptions. However, it is shown that these models tend to favor specific social groups when prompted with neutral text descriptions (e.g., 'a photo of a lawyer'). Following Zhao et al. (2021), we study the effect on the diversity of the generated images when adding ethical intervention that supports equitable judgment (e.g., 'if all individuals can be a lawyer irrespective of their gender') in the input prompts. To this end, we introduce an Ethical NaTural Language Interventions in Text-to-Image GENeration (ENTIGEN) benchmark dataset to evaluate the change in image generations conditional on ethical interventions across three social axes -- gender, skin color, and culture. Through ENTIGEN framework, we find that the generations from minDALL.E, DALL.E-mini and Stable Diffusion cover diverse social groups while preserving the image quality. Preliminary studies indicate that a large change in the model predictions is triggered by certain phrases such as 'irrespective of gender' in the context of gender bias in the ethical interventions. We release code and annotated data at https://github.com/Hritikbansal/entigen_emnlp.

연구 동기 및 목표

• 윤리적 자연어 간섭이 텍스트-이미지 생성 모델의 사회적 편향을 줄일 수 있는지 조사하기 위해.
• 해당 간섭 조건이 성별, 피부색, 문화적 표현 측면에서 모델 출력에 미치는 영향을 평가하기 위해.
• 윤리적 간섭 조건이 프롬프트에 추가되었을 때 편향 변화를 측정하기 위한 표준화된 벤치마크(ENTIGEN)를 구축하기 위해.
• 특정 어휘가 공정한 이미지 생성 방향으로 모델 행동을 가장 크게 변화시키는지 분석하기 위해.
• 인간 평가자와 CLIP 기반 평가의 신뢰성 및 한계를 측정함으로써 편향 감소 정도를 평가하기 위해.

제안 방법

• 성별, 피부색, 문화권의 세 가지 편향 축을 고려해 중립적 프롬프트를 구성하고, 각각 윤리적 간섭 조건을 추가하여 ENTIGEN 벤치마크를 구축하였다.
• CLIP와 인간 평가자(_MTurk_를 통해)를 활용해 생성된 이미지를 사회 집단 카테고리(예: 남성/여성, 밝은 피부색/어두운 피부색, 서양/비서양)로 분류하였다.
• minDALL·E, DALL·E-mini, Stable Diffusion 세 개의 오픈소스 모델이 윤리적 간섭에 어떻게 반응하는지 평가하였다.
• 시각적 단서 없이 도덕적 지침을 제공하는 윤리적 간섭 조건을 설계하였으며(예: '성별에 관계없이'), 특정 집단의 명시적 표현을 피하였다.
• CLIP 임베딩을 사용한 자동 평가와 공정한 보상($10/시간)을 제공한 수동 주석을 통해 그룹 표현 수준을 평가하였다.
• 핵심 어휘인 '성별에 관계없이'와 '문화' 등이 모델 행동 변화를 유도하는 데 효과적인 이유를 이해하기 위해 사전학습 데이터의 맥락을 분석하였다.

실험 결과

연구 질문

• RQ1 윤리적 자연어 간섭 조건이 텍스트-이미지 모델에서 성별, 피부색, 문화권에 걸쳐 이미지 생성의 다양성에 어떻게 영향을 미치는가?
• RQ2 윤리적 간섭 조건 내에서 어떤 특정 어휘가 공정한 표현 방향으로 모델 행동을 가장 강하게 이끄는가?
• RQ3 윤리적 간섭 조건이 프롬프트로 제공되었을 때 기존 텍스트-이미지 모델이 파라미터 조정 없이 얼마나 다양한 출력을 생성할 수 있는가?
• RQ4 CLIP와 인간 평가자가 생성된 이미지의 사회 집단 표현 변화를 탐지하는 데 얼마나 신뢰할 수 있는가?
• RQ5 사전학습 데이터에서 핵심어휘(예: '성별에 관계없이')의 맥락이 모델 반응 형성에 어떤 역할을 하는가?

주요 결과

• 성별에 관계없이'와 같은 윤리적 간섭 조건은 특히 성별 편향 상황에서 부족한 표현을 보이는 집단의 이미지 내 표현 비율을 크게 증가시킨다.
• '성별에 관계없이'라는 어휘는 모델 행동에 큰 전환을 유도하여 생성 결과의 성별 균형을 향상시킨다.
• Stable Diffusion, minDALL·E, DALL·E-mini는 윤리적 간섭 조건이 포함된 프롬프트를 받을 경우 모두 다양한 출력을 생성하며, 높은 이미지 품질을 유지한다.
• 어떤 경우에서는 윤리적 간섭 조건이 편향을 뒤집어, 이전에 부족하게 표현되었던 집단을 우선시하는 결과를 낳았으며, 이는 사전적 공정성 개선의 잠재력을 보여준다.
• '성별에 관계없이'와 '문화'와 같은 핵심어휘의 사전학습 데이터 내 맥락이 모델 출력 변화에 효과적인 데 기여하는 것으로 나타났다.
• 인간 평가자와 CLIP 기반 평가 모두 일관된 추세를 보였지만, 둘 다 집단 분류 시 인지적 및 문화적 한계를 지닌다.