[논문 리뷰] Bias Behind the Wheel: Fairness Testing of Autonomous Driving Systems

Xinyue Li, Zhenpeng Chen외 4명|arXiv (Cornell University)|2023. 08. 05.

Traffic and Road SafetyEngineering인용 수 3

한 줄 요약

이 연구는 실제 데이터셋을 사용하여 성별, 연령, 피부 톤에 따라 분류된 인체 검출기의 공정성에 대한 최초의 종합 평가를 수행한다. 실질적인 데이터셋에서 수작업으로 레이블링된 성별(16,070개), 연령(20,115개), 피부 톤(3,513개) 정보를 기반으로, 어린이의 경우 19.67% 낮은 검출률과 어두운 피부 톤을 가진 사람들의 경우 7.52% 낮은 검출률을 보이며, 저조도 및 저대비 조건에서 이 불균형이 악화됨을 확인하였다. 이는 자율주행 시스템에서 심각한 편향이 존재함을 시사한다.

ABSTRACT

This paper conducts fairness testing of automated pedestrian detection, a crucial but under-explored issue in autonomous driving systems. We evaluate eight state-of-the-art deep learning-based pedestrian detectors across demographic groups on large-scale real-world datasets. To enable thorough fairness testing, we provide extensive annotations for the datasets, resulting in 8,311 images with 16,070 gender labels, 20,115 age labels, and 3,513 skin tone labels. Our findings reveal significant fairness issues, particularly related to age. The proportion of undetected children is 20.14% higher compared to adults. Furthermore, we explore how various driving scenarios affect the fairness of pedestrian detectors. We find that pedestrian detectors demonstrate significant gender biases during night time, potentially exacerbating the prevalent societal issue of female safety concerns during nighttime out. Moreover, we observe that pedestrian detectors can demonstrate both enhanced fairness and superior performance under specific driving conditions, which challenges the fairness-performance trade-off theory widely acknowledged in the fairness literature. We publicly release the code, data, and results to support future research on fairness in autonomous driving.

연구 동기 및 목표

• 성별, 연령, 피부 톤과 같은 인구통계적 그룹 간에 최신 보행자 검출기의 공정성 문제를 조사하기 위해.
• 자율주행 테스트에 사용되는 기존 실세계 데이터셋에서 인구통계적 데이터가 부족한 문제를 해결하기 위해.
• 일반적인 주행 환경(예: 저조도, 저대비)이 보행자 검출의 공정성에 어떤 영향을 미치는지 평가하기 위해.
• 향후 자율주행 분야의 공정성 연구를 지원하기 위해 공개 가능한 대규모 레이블링 데이터셋과 코드를 제공하기 위해.
• 현재 자율차량 시스템에서의 심각한 편향 위험을 연구자, 엔지니어, 정책 입안자에게 알리기 위해.

제안 방법

• 성별(16,070개), 연령(20,115개), 피부 톤(3,513개) 레이블이 수작업으로 추가된 네 가지 널리 사용되는 데이터셋에서 8,311장의 실세계 이미지를 수작업으로 레이블링하였다.
• 통계적 평등성 차이(Statistical Parity Difference, SPD)와 동등 기회 차이(Equal Opportunity Difference, EOD)와 같은 공정성 지표를 사용하여 여덟 종류의 딥러닝 기반 보행자 검출기를 평가하였다.
• 기존 문헌과 일치하는 바, 주요 성능 지표로 실수율(miss rate)을 사용하여 표준 보행자 검출 평가를 수행하였다.
• 낮과 밤과 같은 다양한 조명 및 대비 조건에서 시나리오 기반 분석을 수행하여 공정성 저하 정도를 평가하였다.
• 실수율과의 일관성 및 현재 검출 연구와의 부합성으로 인해 EOD를 주요 공정성 측정 지표로 사용하였다.
• 재현 가능성을 보장하고 향후 연구를 가능하게 하기 위해 코드, 데이터, 결과를 포함한 포괄적인 복제 팩키지를 공개하였다.

Figure 1. RQ1: Miss rates for female and male pedestrians in each dataset. Statistically significant gender unfairness (i.e., miss rate difference) is indicated by labeled miss rate values. We find that pedestrian detectors tend to have poorer performance in detecting females compared to males withi

실험 결과

연구 질문

• RQ1 최신 보행자 검출기는 성별, 연령, 피부 톤에 따라 인구통계적 그룹 간에 어떻게 공정성 측면에서 성능을 보여주는가?
• RQ2 조도 및 대비 조건이 보행자 검출의 공정성 격차를 어느 정도 악화시키는가?
• RQ3 실세계 주행 환경에서 연령, 피부 톤, 성별에 따라 검출 성능 격차는 어떻게 변화하는가?
• RQ4 현재 보행자 검출 시스템에서 편향이 발생하는 주요 요인은 무엇이며, 특히 어린이와 어두운 피부 톤을 가진 사람에게서는 어떤가?
• RQ5 실세계 데이터셋에 인구통계적 레이블을 포함시키면 자율주행 시스템에서 더 엄격한 공정성 테스트가 가능해지는가?

주요 결과

• 어린이의 경우 모든 데이터셋에서 성인에 비해 19.67% 더 높은 검출 누락 비율을 보였다.
• 어두운 피부 톤을 가진 사람들의 검출 누락 비율은 밝은 피부 톤 대비 7.52% 더 높았으며, 이는 심각한 피부 톤 편향을 시사한다.
• 성별 기반 검출 격차는 매우 미미하였으며, 남성과 여성 간 검출 누락 비율 차이는 단지 1.1%에 불과했다.
• 저조도 및 저대비 조건에서는 어두운 피부 톤을 가진 사람들의 공정성 격차가 악화되었으며, 낮과 밤의 조건에서 검출 누락 비율 격차가 7.14%에서 9.86%로 증가하였다.
• 단일 단계 검출기에서는 어두운 피부 톤을 가진 보행자에 대해 특히 뚜렷한 편향이 나타나, 아키텍처 기반의 공정성 문제를 시사한다.
• 이 연구는 EOD 및 SPD와 같은 공정성 지표가 보행자 검출에 적용되었을 때 일관된 결과를 도출함을 확인하였으며, 이는 EOD를 이 분야의 공정성 평가에 사용하는 것이 타당함을 입증한다.

Figure 2. RQ1: Miss rates for children and adults in each dataset. Statistically significant age unfairness (i.e., miss rate difference) is indicated by labeled miss rate values. The miss rate of children is consistently higher than that of adults for all datasets and all detectors.