[论文解读] Auditing ImageNet: Towards a Model-driven Framework for Annotating Demographic Attributes of Large-Scale Image Datasets

Chris Dulhanty, Alexander Wong|arXiv (Cornell University)|May 3, 2019

Face recognition and analysis参考文献 27被引用 15

一句话总结

本文提出一种基于模型的框架，用于自动标注大规模图像数据集中的人脸外貌年龄与性别，将其应用于2012年ImageNet ILSVRC子集及“person”同义词集。研究揭示了显著的人口统计学失衡——ILSVRC中41.62%为女性面孔，60岁以上者仅占1.71%，15–29岁男性为最大子群体；同时指出模型本身也引入了偏见，尤其对深色皮肤女性影响显著。

ABSTRACT

The ImageNet dataset ushered in a flood of academic and industry interest in deep learning for computer vision applications. Despite its significant impact, there has not been a comprehensive investigation into the demographic attributes of images contained within the dataset. Such a study could lead to new insights on inherent biases within ImageNet, particularly important given it is frequently used to pretrain models for a wide variety of computer vision tasks. In this work, we introduce a model-driven framework for the automatic annotation of apparent age and gender attributes in large-scale image datasets. Using this framework, we conduct the first demographic audit of the 2012 ImageNet Large Scale Visual Recognition Challenge (ILSVRC) subset of ImageNet and the "person" hierarchical category of ImageNet. We find that 41.62% of faces in ILSVRC appear as female, 1.71% appear as individuals above the age of 60, and males aged 15 to 29 account for the largest subgroup with 27.11%. We note that the presented model-driven framework is not fair for all intersectional groups, so annotation are subject to bias. We present this work as the starting point for future development of unbiased annotation models and for the study of downstream effects of imbalances in the demographics of ImageNet. Code and annotations are available at: http://bit.ly/ImageNetDemoAudit

研究动机与目标

• 为解决计算机视觉领域基础数据集ImageNet中缺乏全面人口统计分析的问题。
• 探究ImageNet数据构成中固有的偏见，特别是性别与年龄代表性方面的偏见。
• 开发并应用基于模型的流水线，实现大规模数据集中外貌年龄与性别的自动化标注。
• 为未来开发更公平、更具包容性的人口统计标注模型建立基线。
• 支持下游分析，探究ImageNet中的人口统计失衡如何通过迁移学习传播。

提出的方法

• 使用基于深度学习的面部检测模型，置信度阈值为0.9，以识别图像中的面部。
• 采用DEX模型进行性别标注，输出值在0至1之间，以0.5为阈值进行二分类。
• 应用独立的深度学习模型进行外貌年龄估计，并在APPA-REAL测试集上进行评估。
• 在基准数据集上验证模型性能：FDDB用于面部检测，APPA-REAL用于年龄估计。
• 在Pilot Parliaments Benchmark (PPB) 上评估模型公平性，揭示不同交叉群体间性能差异。
• 将该流水线应用于ILSVRC 2012子集（128万张图像）和“person”层级同义词集（118万张图像），生成人口统计标注。

实验结果

研究问题

• RQ1 在ImageNet ILSVRC 2012子集和“person”同义词集中，人脸在外貌年龄与性别方面的人口统计构成如何？
• RQ2 现有自动化年龄与性别标注模型在不同人口统计子群体中的表现如何，特别是在交叉群体中？
• RQ3 当前基于模型的自动化标注框架在人口统计标注中引入或放大偏见的程度如何？
• RQ4 ImageNet的“person”和ILSVRC子集中，哪些人口统计群体最被低估或过度代表？
• RQ5 如何将基于模型的框架用作审计和提升大规模视觉数据集中公平性的基础？

主要发现

• 在ILSVRC 2012子集中，41.62%的可检测面部被标注为女性，15–29岁男性占比最大，达27.11%。
• ILSVRC中仅有1.71%的面部年龄超过60岁，表明老年人群代表性严重不足。
• 性别标注模型在测试集上平均精确率达99.74%，但在深色皮肤女性群体中表现较差（PPB上准确率为69.00%）。
• 年龄估计模型在所有群体中的平均绝对误差为5.22年，60岁以上个体的误差更高（8.40年）。
• “person”子集中顶级同义词集存在极端性别失衡，如“spree”、“bombshell”和“pitchman”均被100%标注为男性。
• 基于模型的框架揭示，现有自动化标注工具在交叉群体中并不公平，尤其对深色皮肤女性群体影响显著，亟需未来改进。