[논문 리뷰] Uncurated Image-Text Datasets: Shedding Light on Demographic Bias

Noa García, Yusuke Hirota외 2명|arXiv (Cornell University)|2023. 04. 06.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 Google Conceptual Captions 데이터셋의 새로운 표준화된 서브셋인 PHASE를 소개한다. 이 데이터셋은 연령, 성별, 피부 톤, 민족성 등의 인구통계적 속성과 정서, 활동 등의 맥락적 속성을 포함하여, 비정제된 시각-언어 데이터셋에서의 사회적 편향을 연구하기 위해 구축되었다. 연구에서는 성별 및 피부 톤 측면에서 심각한 인구통계적 불균형이 존재함을 확인하였고, 이는 이미지-텍스트 쌍 전반에 걸쳐 나타나며, 이미지 캡셔닝, CLIP 임베딩, 텍스트-이미지 생성 등의 후속 작업에서도 지속됨을 입증하였다. 특히 여성과 더 어두운 피부 톤을 가진 개인들이 체계적으로 과소 대표됨을 보여주었다.

ABSTRACT

The increasing tendency to collect large and uncurated datasets to train vision-and-language models has raised concerns about fair representations. It is known that even small but manually annotated datasets, such as MSCOCO, are affected by societal bias. This problem, far from being solved, may be getting worse with data crawled from the Internet without much control. In addition, the lack of tools to analyze societal bias in big collections of images makes addressing the problem extremely challenging. Our first contribution is to annotate part of the Google Conceptual Captions dataset, widely used for training vision-and-language models, with four demographic and two contextual attributes. Our second contribution is to conduct a comprehensive analysis of the annotations, focusing on how different demographic groups are represented. Our last contribution lies in evaluating three prevailing vision-and-language tasks: image captioning, text-image CLIP embeddings, and text-to-image generation, showing that societal bias is a persistent problem in all of them.

연구 동기 및 목표

• Google Conceptual Captions(GCC)와 같은 대규모 비정제된 시각-언어 데이터셋에서의 인구통계적 레이블 부족 문제를 해결하기 위해.
• GCC에서 성별, 피부 톤, 민족성, 연령, 정서, 활동 등의 핵심 인구통계적 속성에 대한 표현 불균형을 분석하기 위해.
• 사회적 편향이 주요 시각-언어 작업—이미지 캡처닝, 텍스트-이미지 CLIP 임베딩, 텍스트-이미지 생성—에서 지속되는지 평가하기 위해.
• 시각-언어 모델의 편향을 탐지하고 완화하기 위한 공개 가능한 인간 레이블 기반 벤치마크를 제공하기 위해.

제안 방법

• GCC의 18,889개의 이미지-영역 쌍에 대해 연령, 성별, 피부 톤, 민족성, 정서, 활동의 6개 속성을 인공지능 기반 캐디네이션 방식으로 레이블링하였다.
• 편향 분석을 위한 표준화되고 인식된 인구통계적 레이블을 갖춘 GCC의 정제된 서브셋인 PHASE 데이터셋을 구축하였다.
• GCC 데이터셋의 인구통계적 분포에 대한 종합적인 통계 분석을 수행하였으며, MSCOCO와 같은 수동 레이블링 데이터셋과의 표현 격차를 비교하였다.
• 세 가지 시각-언어 작업에 대한 평가를 수행하였다: (1) 미세조정된 모델을 사용한 이미지 캡처닝, (2) CLIP 임베딩 유사도, (3) Stable Diffusion를 사용한 텍스트-이미지 생성.
• NSFW 출력을 탐지하고 원본 이미지와 생성된 이미지 간의 인구통계적 분포를 비교하기 위해 안전성 체크 모듈을 활용하였다.
• 생성된 이미지 100개에 대한 수동 검증을 통해 텍스트-이미지 생성 과정에서의 인구통계적 편향을 평가하였다.

Figure 1 : Evolution of paired image-text datasets in terms of number of samples (in million). Datasets scaled up with data automatically crawled from the Internet, reaching the current status in which models are trained with hundreds of millions of samples.

실험 결과

연구 질문

• RQ1 GCC와 같은 대규모 비정제된 이미지-텍스트 데이터셋에서 성별 및 피부 톤 등의 인구통계적 속성이 수동 레이블링 데이터셋과 비교해 얼마나 불균형한가?
• RQ2 시각-언어 모델이 이미지 캡처닝, CLIP 임베딩 유사도, 텍스트-이미지 생성 과정에서 인구통계적 그룹 간 성능 격차를 얼마나 보이는가?
• RQ3 Stable Diffusion와 같은 텍스트-이미지 모델의 안전성 체크 모듈이 성별 또는 피부 톤에 따라 이미지를 차별적으로 경고하는가?
• RQ4 생성된 이미지의 인식된 인구통계적 속성은 원본 훈련 데이터의 것과 어떻게 비교되는가?
• RQ5 PHASE 데이터셋이 시각-언어 모델에서 사회적 편향을 탐지하고 완화하는 데 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• GCC 데이터셋은 심각한 인구통계적 불균형을 보이며, 남성이 64.96%로 과소대표되고 여성은 35.04%에 그치며, 피부 톤으로는 밝은 색조가 73.4%를 차지한다.
• MSCOCO와 비교할 때 GCC는 성별(남성 64.96% 대 비율 여성 35.04%)과 피부 톤(밝은 피부 73.4% 대 어두운 피부 26.6%)에서 더 큰 표현 격차를 보인다.
• 텍스트-이미지 생성 과정에서 남성이 47.4%로 생성되었고 여성은 35.5%로 나타나며, 밝은 피부 톤은 54.0%로 더 어두운 피부 톤은 26.6%로 나타나 여성과 어두운 피부 톤의 체계적 과소대표가 확인되었다.
• Stable Diffusion의 안전성 체크 모듈은 여성과 관련된 프롬프트에서 기인한 51.61%의 비안전 출력을 경고했지만, 여성은 원본 이미지의 35.04%에 불과하여 탐지 과정에서 성별 편향이 존재할 가능성이 있다.
• 중립적인 언어(예: 'person')를 사용한 프롬프트에서는 모델이 주로 백인 남성의 이미지를 생성하여 기본 생성 행동에서 강한 편향이 있음을 보여주었다.
• 본 연구는 사회적 편향이 훈련 데이터에만 존재하는 것이 아니라, 캡처닝, 임베딩, 생성과 같은 후속 시각-언어 작업에서 심화됨을 확인하였다.

Figure 2 : Annotation process. In the region selection part, regions with people are detected and filtered. In the crowd-sourcing part, the selected regions are annotated in three rounds.