[논문 리뷰] Characterizing the Variability in Face Recognition Accuracy Relative to Race

KS Krishnapriya, Kushal Vangara외 3명|arXiv (Cornell University)|2019. 04. 15.

Face recognition and analysis참고 문헌 10인용 수 44

한 줄 요약

본 논문은 MORPH에서 네 가지 매처에 걸쳐 흑인계(African-American)와 백인계(Caucasian) 코호트 간 얼굴 인식 정확도가 어떻게 다른지 조사하고, 위조자(impostor) 및 진짜(genuine) 분포에서 통계적으로 유의한 차이를 보여주며 고정 임계값에서 ROC 비교의 한계를 강조한다. 또한 ICAO 표준을 통한 이미지 품질을 검토하고 품질 차이가 정확도에 영향을 미친다는 것을 발견한다.

ABSTRACT

Many recent news headlines have labeled face recognition technology as biased or racist. We report on a methodical investigation into differences in face recognition accuracy between African-American and Caucasian image cohorts of the MORPH dataset. We find that, for all four matchers considered, the impostor and the genuine distributions are statistically significantly different between cohorts. For a fixed decision threshold, the African-American image cohort has a higher false match rate and a lower false non-match rate. ROC curves compare verification rates at the same false match rate, but the different cohorts achieve the same false match rate at different thresholds. This means that ROC comparisons are not relevant to operational scenarios that use a fixed decision threshold. We show that, for the ResNet matcher, the two cohorts have approximately equal separation of impostor and genuine distributions. Using ICAO compliance as a standard of image quality, we find that the initial image cohorts have unequal rates of good quality images. The ICAO-compliant subsets of the original image cohorts show improved accuracy, with the main effect being to reducing the low-similarity tail of the genuine distributions.

연구 동기 및 목표

• 얼굴 인식 정확도에서 인종 관련 변동성에 대한 이해를 촉진한다.
• 여러 매처에 걸쳐 African-American와 Caucasian 코호트 간 분포 차이를 정량화한다.
• 고정 임계값 운용 조건이 ROC 기반 비교에 미치는 영향을 평가한다.
• 관찰된 정확도 차이에 대한 이미지 품질(ICAO 표준)의 역할을 평가한다.

제안 방법

• MORPH 데이터셋의 African-American과 Caucasian 코호트를 네 가지 매처에 걸쳐 비교한다.
• 코호트 간 통계적 차이를 위한 임포스터 및 진짜 점수 분포를 분석한다.
• ROC 곡선을 사용하여 고정된 false match rate에서 검증 비율을 비교하고 임계값의 함의를 논의한다.
• 이미지 품질 표준으로 ICAO 준수를 적용하여 정확도에 대한 영향을 조사한다.
• 이미지 품질 변화가 점수 분포의 꼬리 부분에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 연구 대상 매처들에 대해 African-American과 Caucasian 코호트 간 임포스터 및 진짜 점수 분포가 차이가 있는가?
• RQ2 고정된 의사결정 임계값이 코호트 간 ROC 기반 비교에 어떤 영향을 미치는가?
• RQ3 ICAO 준수 이미지 품질이 얼굴 인식 정확도와 분포 꼬리에 어떤 영향을 미치는가?
• RQ4 다른 매처들 간 임포스터와 진짜 점수의 구분이 동일한가?
• RQ5 이미지 품질 차이가 관찰된 성능 차이를 설명하는데 어느 정도 기여하는가?

주요 결과

• 네 가지 매처 모두에서 African-American 및 Caucasian 코호트 간 임포스터 및 진짜 분포가 통계적으로 다르다.
• 고정된 의사결정 임계값에서 African-American 코호트는 더 높은 false match rate를 보이고 더 낮은 false non-match rate를 보인다.
• ROC 곡선은 서로 다른 임계값에서 동일한 false match rate를 보이며, 고정 임계값 운용 시나리오에는 ROC 비교가 적절하지 않을 수 있음을 시사한다.
• ResNet 매처의 경우 두 코호트 간 임포스터와 진짜 분포의 구분이 대략 동등하다.
• ICAO-준수 하위 집합은 진짜 분포의 낮은 유사도 꼬리를 줄여 정확도를 향상시킨다.