[论文解读] Exploring Stereotypes and Biased Data with the Crowd

Zeyuan Hu, Julia Strout|arXiv (Cornell University)|Jan 10, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 18被引用 3

一句话总结

本文提出通过亚马逊机械 Turk 的众包方式检测机器学习训练数据中的隐藏刻板印象与偏见，尤其拓展至性别之外的种族与阶级。尽管存在数据质量与工作者理解模糊等挑战，众包仍识别出多样且非显而易见的刻板印象——尽管许多回应存在重复或质量较低的问题——表明其在数据收集工作流中主动检测偏见方面具有适度但有价值的潜力。

ABSTRACT

The goal of our research is to contribute information about how useful the crowd is at anticipating stereotypes that may be biasing a data set without a researcher's knowledge. The results of the crowd's prediction can potentially be used during data collection to help prevent the suspected stereotypes from introducing bias to the dataset. We conduct our research by asking the crowd on Amazon's Mechanical Turk (AMT) to complete two similar Human Intelligence Tasks (HITs) by suggesting stereotypes relating to their personal experience. Our analysis of these responses focuses on determining the level of diversity in the workers' suggestions and their demographics. Through this process we begin a discussion on how useful the crowd can be in tackling this difficult problem within machine learning data collection.

研究动机与目标

• 调查众包是否能有效在模型训练前主动识别机器学习数据集中的文化刻板印象与偏见。
• 超越现有性别偏见检测，探索数据收集过程中涉及种族、阶级及交叉性刻板印象的偏见。
• 评估众包生成见解在检测训练数据中微妙且非显而易见偏见方面的可行性与质量。
• 通过识别众包工作者多样视角如何提升数据集公平性，为数据整理实践提供依据。
• 通过在数据收集阶段早期检测偏见，为减轻机器学习模型中偏见放大现象做出贡献。

提出的方法

• 在亚马逊机械 Turk 上执行两项人类智能任务（HIT），要求工作者提出与种族、阶级和性别相关的刻板印象。
• 基于个人经验，收集众包工作者关于职业、种族与社会经济关联的开放式回应。
• 通过人工筛选分析回应的多样性、频率与语义相关性，以识别罕见或具有洞察力的刻板印象。
• 采用定性分析评估工作者行为，包括对指令的遵守程度及对模糊任务的潜在误解。
• 评估图像类建议在颠覆而非强化刻板印象方面的效用，建议将其作为未来研究方向。
• 通过接受所有回应并进行人工检查实施基本质量控制，因自动化语义验证存在局限。

实验结果

研究问题

• RQ1 众包能否有效揭示研究人员可能忽略的训练数据中非显而易见的文化刻板印象？
• RQ2 众包工作者在多大程度上能识别出超越性别的偏见，如与种族和阶级相关的偏见？
• RQ3 众包工作者人口统计的多样性在识别更广泛刻板印象方面发挥何种作用？
• RQ4 在确保开放式众包回应质量与相关性方面面临哪些挑战？
• RQ5 能够颠覆刻板印象的图像类建议是否可作为偏见检测任务中强化刻板印象的可行替代方案？

主要发现

• 众包成功识别出一系列非性别相关的刻板印象，包括种族、阶级及交叉性关联，如“看起来很阳刚的跨性别女性”和“戴着邦联旗帜的白人农村美国人”。
• 尽管视角多样，imSitu 数据集中 46.95% 的动词仍表现出对某一性别的偏见，其中 47.5% 的动词在模型训练期间平均放大了 0.05%。
• MS-COCO 数据集显示，约三分之一的名词对象对男性高度偏见，尤其在体育类对象中，而厨房类对象则强烈偏向女性，部分偏见放大最高达 0.1%。
• 许多回应存在重复或质量较低的问题，工作者频繁提供常见或语义无关的建议，如“I WANT A CLASS TYPE”，凸显数据质量挑战。
• 少数工作者提出了富有创意、颠覆刻板印象的图像建议，表明未来任务可明确征集此类反刻板印象内容，以减少重复。
• 研究未发现恶意或明显冒犯性评论，但部分工作者似乎误解任务或参与度不足，表明需改进任务设计与质量控制。