[论文解读] Into the LAIONs Den: Investigating Hate in Multimodal Datasets

Abeba Birhane, Vinay Uday Prabhu+3 more|arXiv (Cornell University)|Nov 6, 2023

Hate Speech and Cyberbullying Detection被引用 16

一句话总结

本论文审计两个开源的视觉-语言数据集 LAION-400M 和 LAION-2B-en，并显示随着数据集规模的扩大，仇恨内容增加；基于图像的 NSFW 过滤并未完全从有毒的替代文本中移除。

ABSTRACT

'Scale the model, scale the data, scale the compute' is the reigning sentiment in the world of generative AI today. While the impact of model scaling has been extensively studied, we are only beginning to scratch the surface of data scaling and its consequences. This is especially of critical importance in the context of vision-language datasets such as LAION. These datasets are continually growing in size and are built based on large-scale internet dumps such as the Common Crawl, which is known to have numerous drawbacks ranging from quality, legality, and content. The datasets then serve as the backbone for large generative models, contributing to the operationalization and perpetuation of harmful societal and historical biases and stereotypes. In this paper, we investigate the effect of scaling datasets on hateful content through a comparative audit of two datasets: LAION-400M and LAION-2B. Our results show that hate content increased by nearly 12% with dataset scale, measured both qualitatively and quantitatively using a metric that we term as Hate Content Rate (HCR). We also found that filtering dataset contents based on Not Safe For Work (NSFW) values calculated based on images alone does not exclude all the harmful content in alt-text. Instead, we found that trace amounts of hateful, targeted, and aggressive text remain even when carrying out conservative filtering. We end with a reflection and a discussion of the significance of our results for dataset curation and usage in the AI community. Code and the meta-data assets curated in this paper are publicly available at https://github.com/vinayprabhu/hate_scaling. Content warning: This paper contains examples of hateful text that might be disturbing, distressing, and/or offensive.

研究动机与目标

• 为审计大规模多模态数据集提供动机与基础，挑战仅以模型规模为中心的观念。
• 评估从 4 亿样本到 20 亿英文样本的扩展对仇恨、定向性和攻击性 alt-text 内容的影响。
• 评估图像 NSFW 标签与随附 alt-text 的毒性之间的关系。
• 提出透明、公平的数据集筹集与使用的方法学与政策建议。

提出的方法

• 从每个数据集分片中抽取 100,000 行图像，以获得 320 万对（400M）和 1280 万对（2B-en）的图文对。
• 使用 pysentimiento 仇恨言论分析器对每条 alt-text 获取三项分数：仇恨、定向、攻击性。
• 将仇恨内容率（HCR）定义为在每个类别及任意三者之和中，分数超过阈值 P_threshold 的样本所占百分比。
• 使用阈值曲线和 Wilson 置信区间比较跨数据集的 HCR，以评估统计差异。
• 在 32 个分片（400M）和 128 个分片（2B-en）上进行逐文件 HCR 分析，并进行 Welch t 检验以比较均值。
• 使用皮尔逊相关分析在 LAION-2B-en 样本上将 NSFW 图像标签与 alt-text 的毒性相关性。

Figure 1 : HCR curves for the LAION400M and LAION-2B-en datasets using pysentimiento outputs showing that Hate Content Rate increased with dataset size.

实验结果

研究问题

• RQ1 将 LAION-400M 扩展到 LAION-2B-en 是否会增加仇恨、定向和攻击性 alt-text 描述的普遍性？
• RQ2 基于图像的 NSFW 过滤与 alt-text 的毒性检测之间的对齐程度如何？
• RQ3 在比较跨数据集的分片时，逐文件 HCR 是否与数据集层面的 HCR 一致？
• RQ4 对于透明、健全的大型视觉-语言数据集审计与筹集，有哪些可行的建议？

主要发现

• 在各阈值下，LAION-2B-en 的任意三者之和的仇恨内容率高于 LAION-400M，表明规模扩大导致仇恨内容增加。
• 在 P_threshold = 0.5 时，仇恨言论的 HCR 在 LAION-2B-en 中最高可达 0.7，而在 LAION-400M 中最高可达 0.6。
• 逐文件的 HCR 在 LAION-2B-en 的仇恨、定向和攻击性类别上更高，具有强烈的统计支持（Welch t 检验，极小的 p 值）。
• NSFW 图像标签与仇恨/定向 alt-text 之间存在轻微相关性（相关性约 0.227–0.215），而对攻击性内容则较弱（0.076）。
• 仅基于图像的 NSFW 过滤并不能可靠地移除仇恨或定向 alt-text；在被认为安全的子集里仍存在一些有毒内容。）

Figure 2 : Fused swarm-box-violinplot that captures the file-wise HCR metrics for all the 160 (=32+128) parquet files from LAION400M and LAION-2B-en. HCRs for LAION-2B-en (the red swarms) are higher than the 32 file-level HCRs for the LAION400M (the blue swarms) for all three sub-categories – hatefu