[논문 리뷰] Robustness Disparities in Commercial Face Detection

Samuel Dooley, Tom Goldstein외 1명|arXiv (Cornell University)|2021. 08. 27.

Face recognition and analysis참고 문헌 51인용 수 26

한 줄 요약

이 연구는 네 가지 데이터셋에서 15개의 ImageNet-C 노이즈에 대해 세 가지 상용 얼굴 탐지 시스템(Amazon Rekognition, Microsoft Azure, Google Cloud)의 강인성을 벤치마크하고, 인구통계적 차이에 따른 오류율 차이와 노이즈 및 어두운 조명 하에서의 더 큰 저하를 드러낸다.

ABSTRACT

Facial detection and analysis systems have been deployed by large companies and critiqued by scholars and activists for the past decade. Critiques that focus on system performance analyze disparity of the system's output, i.e., how frequently is a face detected for different Fitzpatrick skin types or perceived genders. However, we focus on the robustness of these system outputs under noisy natural perturbations. We present the first of its kind detailed benchmark of the robustness of three such systems: Amazon Rekognition, Microsoft Azure, and Google Cloud Platform. We use both standard and recently released academic facial datasets to quantitatively analyze trends in robustness for each. Across all the datasets and systems, we generally find that photos of individuals who are older, masculine presenting, of darker skin type, or have dim lighting are more susceptible to errors than their counterparts in other identities.

연구 동기 및 목표

• 현실적 이미지 변형에 대한 세 상용 얼굴 인식 API의 강인성 정량화.
• 강인성이 연령, 성별 표현, Fitzpatrick 피부 유형과 조명 조건에 따라 어떻게 변하는지 분석.
• 상용 탐지 시스템의 강인성을 평가하기 위한 확장 가능한 벤치마크 프레임워크를 제공.
• 내부 학습 데이터나 모델을 가정하지 않고 ImageNet-C 발견치 및 이전 공정성 연구와의 비교 가능성을 확보.

제안 방법

• 4개 데이터셋(Adience, CCD, MIAP, UTKFace)에 5단계 강도 수준으로 15개의 ImageNet-C 변조를 적용.
• 각 이미지에 대해 AWS, Azure, Google Cloud Platform 얼굴 탐지 API를 쿼리하고 탐지된 얼굴 수를 ground truth 프록시로 기록.
• 변조 후 얼굴 수가 바뀌면 1, 그렇지 않으면 0으로 상대적 변조 오차(rCE)를 계산.
• 데이터셋, 변조, 강도, 인구통계 그룹에 걸쳐 평균 상대적 변조 오차(mrCE)를 집계.
• 손으로 주석을 다는 772장의 이미지를 통해 IoU≥0.5 기준으로 per-image 정밀도를 도출하고 정밀도와 얼굴 수 프록시 간 상관관계(Pearson r=0.91, p<0.001)를 검증

실험 결과

연구 질문

• RQ1 상용 얼굴 탐지 API가 자연 이미지 변형에 직면했을 때 인구통계 그룹 간에 강인성 차이를 보이나?
• RQ2 강인성은 연령, 성별 표현, 피부 유형(Fitzpatrick), 조명 조건에 따라 데이터셋 간에 어떻게 달라지는가?
• RQ3 세 API(AWS, Azure, GCP) 중 특정 변형 유형에서 가장 큰 강인성 저하를 보이는 API는 무엇인가?
• RQ4 강인성 결과를 비얼굴 데이터에 대한 이전 ImageNet-C 발견치와 어떻게 비교할 수 있는가?

주요 결과

• 노이즈 변형은 대부분의 데이터셋과 서비스에서 다른 유형의 손상보다 성능을 크게 저하시키는 경향이 있다.
• 연장자 피험자, 남성적 표현의 개인, 더 어두운 피부 유형, 어두운 조명에서 데이터셋 전체에서 오류율이 더 높게 나타난다(예: 약 20-60%).
• GCP는 데이터셋 전반에서 Azure에 비해 지속적으로 성능이 낮은 경향을 보이며, Azure와 AWS는 특정 변조에서 더 뚜렷한 저하를 보인다.
• 약한 조명은 격차를 확대하고 교차 그룹 간 차이를 줄이지만, 일부 신분(예: Other 성별)에서는 다른 패턴을 보인다.
• 성별 추정은 얼굴 인식보다 변조에 훨씬 민감하며, AWS의 오성별 오류가 깨끗한 데이터에서 9.1%에서 변조 데이터에서 21.6%로 상승하였다.
• 연령이 어리고 피부가 어두운 경우 mrCE가 높아지는 경향이 있으며, CCD/MIAP 데이터에서 어두운 피부를 가진 남성 인구에서 교차 인구통계 효과가 뚜렷하게 나타난다.