[논문 리뷰] Age and gender bias in pedestrian detection algorithms

Martim Brandão|arXiv (Cornell University)|2019. 06. 25.

Advanced Neural Network Applications참고 문헌 11인용 수 14

한 줄 요약

이 연구는 어린이/성인 및 남성/여성 레이블이 추가된 확장된 INRIA Person Dataset를 사용하여 최신 보행자 검출 알고리즘의 연령 및 성별 편향을 평가한다. 모든 24개의 상위 성능 알고리즘에서 어린이에 대한 오류 검출률이 유의미하게 높았으며, 평균적으로 0.04 백분율 포인트 높았고 통계적으로 유의미한 차이를 보였지만, 성별 기반 성능 차이는 유의미하지 않았다.

ABSTRACT

Pedestrian detection algorithms are important components of mobile robots, such as autonomous vehicles, which directly relate to human safety. Performance disparities in these algorithms could translate into disparate impact in the form of biased accident outcomes. To evaluate the need for such concerns, we characterize the age and gender bias in the performance of state-of-the-art pedestrian detection algorithms. Our analysis is based on the INRIA Person Dataset extended with child, adult, male and female labels. We show that all of the 24 top-performing methods of the Caltech Pedestrian Detection Benchmark have higher miss rates on children. The difference is significant and we analyse how it varies with the classifier, features and training data used by the methods. Algorithms were also gender-biased on average but the performance differences were not significant. We discuss the source of the bias, the ethical implications, possible technical solutions and barriers.

연구 동기 및 목표

• 최신 보행자 검출 알고리즘이 보행자의 연령과 성별에 따라 성능 편향을 보이는지 조사하기 위해.
• 알고리즘 편향으로 인한 자율 주행 차량에서의 차별적 안전 결과 가능성 평가하기 위해.
• 성능 격차의 근본 원인, 특히 데이터셋 편향과 검출 난이도와 관련된 원인 분석하기 위해.
• 실제 로봇 시스템에서 이러한 편향의 윤리적 및 기술적 영향 평가하기 위해.

제안 방법

• 단일 평가자로 각 보행자 바운딩 박스에 대해 수동으로 연령(어린이/성인) 및 성별(남성/여성) 레이블을 추가하여 INRIA Person Dataset를 확장하였다.
• '무시 영역' 방법론을 사용하여 특정 인구군에 대한 성능을 고립하여 데이터셋의 부분집합에서 알고리즘 성능을 평가하였다.
• Caltech Pedestrian Detection Benchmark에서 일반적으로 사용되는 50% IoU 임계값을 사용하여 평균 오류 검출률을 측정하였다.
• 다양한 알고리즘 간 인구군 간 성능 차이의 통계적 유의성을 판단하기 위해 Wilcoxon 순위합 검정을 적용하였다.
• 일致성과 재현 가능성을 확보하기 위해 Caltech Pedestrian Detection Benchmark의 오픈 소스 평가 코드를 사용하였다.
• 소형 바운딩 박스 영향과 분리하기 위해 테스트 세트의 '합리적인' 부분집합(근거리 시야, 최소 차폐)에 집중 분석하였다.

실험 결과

연구 질문

• RQ1 최신 보행자 검출 알고리즘이 어린이에 대해 성인보다 더 높은 오류 검출률을 보이는가?
• RQ2 이 알고리즘에서 남성과 여성 보행자 간에 통계적으로 유의미한 성능 차이가 있는가?
• RQ3 관찰된 연령 편향은 데이터셋 분포, 모델 아키텍처 또는 특징 엔지니어링 중 어느 정도 기인하는가?
• RQ4 보행자 검출에서의 알고리즘 편향이 자율 주행 차량에서 불균형한 안전 결과로 이어질 수 있는가?
• RQ5 실제 로봇 시스템에서 공정한 보행자 검출을 달성하기 위한 윤리적 및 기술적 장벽은 무엇인가?

주요 결과

• Caltech Pedestrian Detection Benchmark의 상위 24개 알고리즘 모두 어린이에 대해 성인보다 더 높은 오류 검출률을 보였으며, 이는 통계적으로 유의미한 차이였다.
• 어린이 대비 성인의 평균 오류 검출률 차이는 0.04 백분율 포인트였으며, INRIA/Caltech 데이터셋으로 훈련된 알고리즘의 경우 최대 0.07 포인트까지 증가하였다.
• 여성 보행자에 대해 오류 검출률이 높은 알고리즘이 총 72%에 달했지만, 성능 차이는 통계적으로 유의미하지 않았다.
• 연령 편향은 훈련 데이터에 어린이가 적게 포함된 데이터셋 불균형과 더불어, 더 작은 바운딩 박자와 역동적인 자세로 인한 검출 난이도의 복합적 원인에 기인할 가능성이 높다.
• 연구는 알고리즘 편향이 실제 충돌 결과에서 눈에 띄는 불균형을 초래할 수 있으며, 어린이가 자율 주행 차량에 의해 더 자주 무시될 수 있음을 시사한다.
• 편향이 존재하더라도 최고 성능 알고리즘(PCN)은 다음으로 성능이 좋은 알고리즘보다 어린이를 더 자주 검출했으며, 이는 효율성과 공정성 간의 트레이드오프가 알고리즘 선택에 영향을 미칠 수 있음을 나타낸다.