[논문 리뷰] Is Face Recognition Sexist? No, Gendered Hairstyles and Biology Are

Vítor Albiero, Kevin W. Bowyer|arXiv (Cornell University)|2020. 08. 16.

Face recognition and analysis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 얼굴 인식 시스템이 여성에서 더 낮은 정확도를 보이는 이유를 분석하여, 성별에 따른 헤어스타일과 얼굴 변동성의 생물학적 차이가 주요 원인임을 규명한다. 통제된 데이터셋과 주성분 분석(PCA)을 활용해 저자들은 여성의 장발로 인한 가림 현상이 여성에서 더 높은 잘못된 미일치율을 유발함을 보여주며, 여성의 얼굴 변동성이 본질적으로 더 작아 잘못된 일치율이 높아지는 것을 확인한다—이는 훈련 데이터나 알고리즘의 편향 때문이라는 가정을 도전한다.

ABSTRACT

Recent news articles have accused face recognition of being "biased", "sexist" or "racist". There is consensus in the research literature that face recognition accuracy is lower for females, who often have both a higher false match rate and a higher false non-match rate. However, there is little published research aimed at identifying the cause of lower accuracy for females. For instance, the 2019 Face Recognition Vendor Test that documents lower female accuracy across a broad range of algorithms and datasets also lists "Analyze cause and effect" under the heading "What we did not do". We present the first experimental analysis to identify major causes of lower face recognition accuracy for females on datasets where previous research has observed this result. Controlling for equal amount of visible face in the test images reverses the apparent higher false non-match rate for females. Also, principal component analysis indicates that images of two different females are inherently more similar than of two different males, potentially accounting for a difference in false match rates.

연구 동기 및 목표

• 여성에서의 낮은 얼굴 인식 정확도의 근본 원인을 규명하여 알고리즘 편향의 주장에 대비한다.
• 성별에 따른 헤어스타일로 인한 가림 현상이 여성에서 더 높은 잘못된 미일치율을 유발하는지 조사한다.
• 남성과 여성 간 얼굴 변동성의 본질적 생물학적 차이가 잘못된 일치율에 영향을 미치는지 검토한다.
• 최신 딥 컨volution 네트워크 매칭기와 공개된 데이터셋을 활용해 투명하고 재현 가능한 분석을 제공한다.
• 훈련 데이터의 불균형이나 알고리즘 설계가 성별 기반 정확도 격차의 주요 원인이라는 가정을 도전한다.

제안 방법

• 가시 얼굴 영역이 동일한 데이터셋을 활용해 헤어스타일로 인한 가림 영향을 분리하기 위한 통제 실험을 실시했다.
• 주성분 분석(PCA)을 사용해 남성과 여성의 얼굴 공간 내부 변동성을 비교했다.
• 최신의 딥 컨volution 네트워크 매칭기(ArcFace)를 적용해 결과가 특정 알고리즘에 의존하지 않음을 보장했다.
• MORPH, Notre Dame, VGGFace2를 포함한 여러 데이터셋에서 위조자 및 진짜 점수 분포를 분석했다.
• 가림 정도를 정량화하기 위해 얼굴 가시성 백분율과 얼굴 차이 히트맵을 계산했다.
• PCA 역행렬 실험을 수행해 남성 얼굴의 변동성을 여성 얼굴의 변동성 수준으로 조정할 수 있는지 평가했다.

실험 결과

연구 질문

• RQ1 여성에서 더 높은 잘못된 미일치율은 성별에 따른 헤어스타일로 인한 더 큰 얼굴 가림 때문인가?
• RQ2 남성과 여성 간 얼굴 변동성의 생물학적 차이가 여성에서 더 높은 잘못된 일치율에 어느 정도 기여하는가?
• RQ3 가시 얼굴 영역을 동일하게 제어하면 관찰된 여성의 잘못된 미일치율 격차가 사라지는가?
• RQ4 남성과 여성 간 위조자 점수 분포의 차이가 본질적인 얼굴 유사성 차이 때문인가?
• RQ5 훈련 및 테스트 데이터가 성별로 균형을 이루는 조건에서도 얼굴 인식 정확도의 관찰된 성별 편향이 유지되는가?

주요 결과

• 테스트 이미지에서 가시 얼굴 영역을 동일하게 제어함으로써 여성에서 관찰된 더 높은 잘못된 미일치율이 반전되었으며, 이는 장발로 인한 가림이 주요 기여 요인임을 시사한다.
• PCA 분석 결과, 평균적으로 두 개의 다른 여성 얼굴은 두 개의 다른 남성 얼굴보다 더 유사한 것으로 나타나, 여성에서 더 높은 잘못된 일치율을 설명한다.
• 여성의 위조자 분포는 얼굴 변동성이 감소함에 따라 자연스럽게 더 높은 유사성 값에 중심을 두며, 이는 표준 매칭 알고리즘이 보정할 수 없는 현상이다.
• 여성 이미지 수를 줄여 데이터 크기를 균형화해도 여성의 PCA 곡선은 남성보다 여전히 더 적은 변동성을 보였으며, 이는 생물학적 차이가 근본 원인임을 확인한다.
• 훈련 데이터의 불균형이나 알고리즘 설계가 성별 기반 정확도 격차의 주요 원인이라는 증거는 발견되지 않았다.
• 결과는 얼굴 인식 시스템이 본질적으로 성차별적이지 않으며, 관찰된 성별 편향은 헤어스타일과 얼굴 형태와 같은 실제 생물학적·사회학적 요인에서 기인함을 시사한다.