[论文解读] Bias Behind the Wheel: Fairness Testing of Autonomous Driving Systems

Xinyue Li, Zhenpeng Chen+4 more|arXiv (Cornell University)|Aug 5, 2023

Traffic and Road SafetyEngineering被引用 3

一句话总结

本研究首次基于包含人工标注性别、年龄和肤色标签的真实世界数据集，对八种最先进的行人检测器在不同人口统计群体中的公平性进行了全面评估。研究发现存在显著的检测准确率差异——儿童的检测率低19.67%，深肤色个体的检测率低7.52%，且在低亮度和低对比度条件下问题进一步加剧，凸显自动驾驶系统中存在关键性偏见。

ABSTRACT

This paper conducts fairness testing of automated pedestrian detection, a crucial but under-explored issue in autonomous driving systems. We evaluate eight state-of-the-art deep learning-based pedestrian detectors across demographic groups on large-scale real-world datasets. To enable thorough fairness testing, we provide extensive annotations for the datasets, resulting in 8,311 images with 16,070 gender labels, 20,115 age labels, and 3,513 skin tone labels. Our findings reveal significant fairness issues, particularly related to age. The proportion of undetected children is 20.14% higher compared to adults. Furthermore, we explore how various driving scenarios affect the fairness of pedestrian detectors. We find that pedestrian detectors demonstrate significant gender biases during night time, potentially exacerbating the prevalent societal issue of female safety concerns during nighttime out. Moreover, we observe that pedestrian detectors can demonstrate both enhanced fairness and superior performance under specific driving conditions, which challenges the fairness-performance trade-off theory widely acknowledged in the fairness literature. We publicly release the code, data, and results to support future research on fairness in autonomous driving.

研究动机与目标

• 调查最先进的行人检测器在性别、年龄和肤色等人口统计群体中的公平性问题。
• 解决现有自动驾驶测试所用真实世界数据集中缺乏人口统计标注数据的问题。
• 评估常见驾驶场景（如低亮度、低对比度）对行人检测公平性的影响。
• 提供公开可获取的大规模标注数据集和代码，以支持未来自动驾驶领域的公平性研究。
• 向研究人员、工程师和政策制定者揭示当前自动驾驶车辆系统中关键的偏见风险。

提出的方法

• 从四个广泛使用的数据集中人工标注了8,311张真实世界图像，包含性别（16,070个）、年龄（20,115个）和肤色（3,513个）标签。
• 使用公平性度量指标（统计公平差异SPD和机会均等差异EOD）评估了八种基于深度学习的行人检测器。
• 采用标准行人检测评估方法，以漏检率作为主要性能指标，与现有文献保持一致。
• 在不同光照和对比度条件（如白天与夜间）下进行场景化分析，评估公平性退化情况。
• 选择EOD作为主要公平性度量标准，因其与漏检率一致且与当前检测研究保持一致。
• 发布包含代码、数据和结果的完整复现包，以确保可复现性并支持未来研究。

Figure 1. RQ1: Miss rates for female and male pedestrians in each dataset. Statistically significant gender unfairness (i.e., miss rate difference) is indicated by labeled miss rate values. We find that pedestrian detectors tend to have poorer performance in detecting females compared to males withi

实验结果

研究问题

• RQ1 最先进的行人检测器在不同人口统计群体中的公平性表现如何？
• RQ2 光照和对比度条件在多大程度上加剧了行人检测中的公平性差异？
• RQ3 在真实世界驾驶场景中，检测性能差异如何随年龄、肤色和性别而变化？
• RQ4 当前行人检测系统中导致偏见的关键因素是什么，特别是对儿童和深肤色个体而言？
• RQ5 在真实世界数据集中引入人口统计标注，能否实现对自动驾驶系统更严格的公平性测试？

主要发现

• 在所有数据集中，儿童的漏检率比成年人高出19.67%。
• 深肤色个体的漏检率比浅肤色个体高出7.52%，表明存在显著的肤色偏见。
• 基于性别的检测差异极小，男性与女性的漏检率差异仅为1.1%。
• 在低亮度和低对比度条件下，深肤色个体的公平性差距进一步扩大，其漏检率差异从白天的7.14%上升至夜间的9.86%。
• 单阶段检测器对深肤色行人表现出特别强烈的偏见，表明存在与网络架构相关的公平性挑战。
• 本研究证实，当应用于行人检测时，EOD和SPD等公平性度量指标结果一致，验证了在该场景下使用EOD进行公平性评估的可靠性。

Figure 2. RQ1: Miss rates for children and adults in each dataset. Statistically significant age unfairness (i.e., miss rate difference) is indicated by labeled miss rate values. The miss rate of children is consistently higher than that of adults for all datasets and all detectors.