[논문 리뷰] Into the LAIONs Den: Investigating Hate in Multimodal Datasets

Abeba Birhane, Vinay Uday Prabhu외 3명|arXiv (Cornell University)|2023. 11. 06.

Hate Speech and Cyberbullying Detection인용 수 16

한 줄 요약

이 논문은 두 개의 오픈 소스 비전-언어 데이터셋 LAION-400M과 LAION-2B-en를 감사하고, 데이터셋 규모가 커질수록 혐오 콘텐츠가 증가하며, 이미지 기반 NSFW 필터가 독성 대체 텍스트를 완전히 제거하지 못한다는 점을 보여준다.

ABSTRACT

'Scale the model, scale the data, scale the compute' is the reigning sentiment in the world of generative AI today. While the impact of model scaling has been extensively studied, we are only beginning to scratch the surface of data scaling and its consequences. This is especially of critical importance in the context of vision-language datasets such as LAION. These datasets are continually growing in size and are built based on large-scale internet dumps such as the Common Crawl, which is known to have numerous drawbacks ranging from quality, legality, and content. The datasets then serve as the backbone for large generative models, contributing to the operationalization and perpetuation of harmful societal and historical biases and stereotypes. In this paper, we investigate the effect of scaling datasets on hateful content through a comparative audit of two datasets: LAION-400M and LAION-2B. Our results show that hate content increased by nearly 12% with dataset scale, measured both qualitatively and quantitatively using a metric that we term as Hate Content Rate (HCR). We also found that filtering dataset contents based on Not Safe For Work (NSFW) values calculated based on images alone does not exclude all the harmful content in alt-text. Instead, we found that trace amounts of hateful, targeted, and aggressive text remain even when carrying out conservative filtering. We end with a reflection and a discussion of the significance of our results for dataset curation and usage in the AI community. Code and the meta-data assets curated in this paper are publicly available at https://github.com/vinayprabhu/hate_scaling. Content warning: This paper contains examples of hateful text that might be disturbing, distressing, and/or offensive.

연구 동기 및 목표

• 모델 중심의 규모 확신을 넘어 대규모 멀티모달 데이터셋의 감사를 필요로 한다는 동기를 제시하고 이를 뒷받침한다.
• 400M에서 2B-en 샘플로의 확장이 혐오, 표적화, 공격적 대체 텍스트의 콘텐츠에 어떤 영향을 미치는지 평가한다.
• 이미지 NSFW 라벨과 동반 대체 텍스트의 독성 간 관계를 평가한다.
• 투명하고 공정한 데이터셋 큐레이션 및 사용을 위한 방법론적 및 정책 권고안을 제시한다.

제안 방법

• 각 데이터셋 샤드에서 100,000개의 이미지 행을 서브샘플링하여 3.2백만 개(400M) 및 12.8백만 개(2B-en) 이미지-텍스트 쌍을 얻는다.
• pysentimiento 혐오 발언 분석기를 사용하여 각 대체 텍스트당 혐오(hateful), 표적화(targeted), 공격적(aggressive) 세 점수를 얻는다.
• Hate Content Rate(HCR)을 각 범주별로 P_threshold를 초과하는 점수를 가진 샘플의 비율(또는 Any-of-the-three에 대한 비율)로 정의한다.
• 임계값 기반 곡선과 윌슨 점수 구간을 사용하여 데이터셋 간 HCR을 비교하고 통계 차이를 평가한다.
• 32 샤드(400M)와 128 샤드(2B-en)에 걸친 파일별 HCR 분석을 수행하고 평균을 비교하기 위해 Welch t-test를 실시한다.
• LAION-2B-en 샘플에서 NSFW 이미지 라벨과 대체 텍스트 독성 간 상관관계를 피어슨 상관계수로 상관분석한다.

Figure 1 : HCR curves for the LAION400M and LAION-2B-en datasets using pysentimiento outputs showing that Hate Content Rate increased with dataset size.

실험 결과

연구 질문

• RQ1 LAION-400M에서 LAION-2B-en으로 확장하면 혐오적, 표적화된, 공격적인 대체 텍스트 설명의 발생률이 증가하는가?
• RQ2 이미지 기반 NSFW 필터가 대체 텍스트 설명에서 탐지된 독성과 얼마나 잘 일치하는가?
• RQ3 샤드를 데이터셋 간 비교할 때 파일 수준의 HCR이 데이터셋 수준의 HCR과 일치하는가?
• RQ4 대규모 비전-언어 데이터셋의 투명하고 견고한 감사 및 큐레이션에 대한 권고사항은 무엇인가?

주요 결과

• Hate Content Rate(Any-of-the-three)는 임계값 전체에서 LAION-2B-en이 LAION-400M보다 높아 확장에 따른 혐오 콘텐츠 증가를 시사한다.
• P_threshold = 0.5에서 혐오 발화의 HCR은 LAION-2B-en에서 최대 0.7에 도달하는 반면 LAION-400M에서는 최대 0.6이다.
• 파일별 HCR은 혐오, 표적화, 공격적 범주에서 LAION-2B-en이 더 높고, 통계적으로 강한 지원을 받는다( Welch t-검정, 매우 작은 p-값).
• NSFW 이미지 라벨과 혐오/표적 대체 텍스트 간 약간의 상관관계가 있으며 상관계수는 대략 ~0.227–0.215이지만, 공격적 콘텐츠의 경우 더 약하다(0.076).
• 이미지를 기반으로 한 NSFW 필터링만으로는 혐오적이거나 표적화된 대체 텍스트를 신뢰성 있게 제거하지 못하며, 일부 독성 콘텐츠가 안전하다고 간주되는 하위집합에도 남아 있다.

Figure 2 : Fused swarm-box-violinplot that captures the file-wise HCR metrics for all the 160 (=32+128) parquet files from LAION400M and LAION-2B-en. HCRs for LAION-2B-en (the red swarms) are higher than the 32 file-level HCRs for the LAION400M (the blue swarms) for all three sub-categories – hatefu