[논문 리뷰] Predictive Inequity in Object Detection

Benjamin Wilson, Judy Hoffman외 1명|arXiv (Cornell University)|2019. 02. 21.

Advanced Neural Network Applications참고 문헌 21인용 수 154

한 줄 요약

이 논문은 최첨단 보행자 탐지기가 Fitzpatrick 피부 유형 전반에서 불균등하게 작동하는지 여부를 조사하고, BDD100K에 피부 톤 라벨을 주석하고 모델, 데이터 소스, 학습 손실 간의 예측 차이를 분석한다.

ABSTRACT

In this work, we investigate whether state-of-the-art object detection systems have equitable predictive performance on pedestrians with different skin tones. This work is motivated by many recent examples of ML and vision systems displaying higher error rates for certain demographic groups than others. We annotate an existing large scale dataset which contains pedestrians, BDD100K, with Fitzpatrick skin tones in ranges [1-3] or [4-6]. We then provide an in-depth comparative analysis of performance between these two skin tone groupings, finding that neither time of day nor occlusion explain this behavior, suggesting this disparity is not merely the result of pedestrians in the 4-6 range appearing in more difficult scenes for detection. We investigate to what extent time of day, occlusion, and reweighting the supervised loss during training affect this predictive bias.

연구 동기 및 목표

• Fitzpatrick 피부 유형 1-3 (LS)와 4-6 (DS) 간의 보행자 탐지에서 예측 불평등을 대규모 운전 데이터세트에서 측정한다.
• 일시(time of day), 가려짐(occlusion), 또는 손실 우선순위 설정이 관찰된 차이를 설명하는지 평가한다.
• 다양한 모델 아키텍처와 학습 데이터 소스를 비교하여 불평등의 강건성을 평가한다.
• 예측 격차를 줄이기 위한 손실 가중치를 통한 간단한 수정책을 조사한다.

제안 방법

• Mechanical Turk를 사용하여 Fitzpatrick 피부 유형으로 BDD100K 보행자를 주석 달아 LS 및 DS 그룹을 만든다.
• 모델별로 LS와 DS 간의 차이를 정량화하기 위해 BDD100K 검증 세트에서 AP, AP50, AP75 지표를 사용한다.
• MS COCO 또는 BDD100K 학습에서 가중치를 가진 다중 아키텍처(Faster R-CNN, Mask R-CNN) 및 백본을 평가한다.
• 가려진 보행자 vs 비가려진 보행자 및 주간 이미지 vs 야간 이미지를 분리하여 불평등의 원인을 분석한다.
• 감지기의 분류 손실에서 손실 가중치 방식들을 테스트하여 LS/DS 격차를 줄인다.

실험 결과

연구 질문

• RQ1 객체 탐지기가 BDD100K에서 LS(1-3) 보행자에 대한 예측 정확도가 DS(4-6)보다 높게 나타나는가?
• RQ2 차이가 가려짐, 시간대 또는 다수 그룹 쪽으로 편향된 손실 함수에 기인한 것인가?
• RQ3 학습 데이터 선택(MS COCO 대 BDD100K) 또는 모델 아키텍처가 예측 불평등을 증폭시키거나 완화시키는가?
• RQ4 감독 손실의 재가중이 전반적인 성능을 해치지 않으면서 LS/DS 성능 격차를 줄일 수 있는가?

주요 결과

• 탐지기는 일관되게 LS가 DS보다 더 높은 AP를 보이며, 가장 큰 격차는 AP75(정밀 로컬라이제이션)에서 나타난다.
• 차이는 모델, 데이터 소스(MS COCO 대 BDD100K), 아키텍처(Faster R-CNN, Mask R-CNN) 전반에 걸쳐 지속된다.
• 가려짐 제거가 두 그룹 모두를 개선하지만 LS/DS 격차를 제거하지는 못한다.
• 시간대만으로는 차이를 설명하지 못한다; 주간 결과에서 LS>DS를 보이고, 야간 결과는 DS 표본이 작아 결론이 불충분하다.
• 훈련 중 DS 손실의 재가중이 일부 설정에서 DS 격차를 줄일 수 있으며, 손실 우선순위 설정이 예측 불평등에 기여함을 시사한다.