[논문 리뷰] One Label, One Billion Faces: Usage and Consistency of Racial Categories in Computer Vision

Zaid Khan, Yun Fu|arXiv (Cornell University)|2021. 02. 03.

Ethics and Social Impacts of AI참고 문헌 29인용 수 10

한 줄 요약

이 논문은 레이블이 부여된 얼굴 데이터셋에 내재된 암묵적인 인종 체계를 학습하는 분류기들을 통해 컴퓨터 시각 데이터셋에서 인종 카테고리의 교차 데이터셋 일관성을 조사한다. 연구 결과, 인종 카테고리는 데이터셋 간에 매우 일관성이 없으며, 종종 인종 고정관념을 반영하고 비표준적인 민족 그룹을 배제함으로써 AI의 공정성 평가와 다양성 주장의 기반을 약화시킴을 밝혀냈다.

ABSTRACT

Computer vision is widely deployed, has highly visible, society altering applications, and documented problems with bias and representation. Datasets are critical for benchmarking progress in fair computer vision, and often employ broad racial categories as population groups for measuring group fairness. Similarly, diversity is often measured in computer vision datasets by ascribing and counting categorical race labels. However, racial categories are ill-defined, unstable temporally and geographically, and have a problematic history of scientific use. Although the racial categories used across datasets are superficially similar, the complexity of human race perception suggests the racial system encoded by one dataset may be substantially inconsistent with another. Using the insight that a classifier can learn the racial system encoded by a dataset, we conduct an empirical study of computer vision datasets supplying categorical race labels for face images to determine the cross-dataset consistency and generalization of racial categories. We find that each dataset encodes a substantially unique racial system, despite nominally equivalent racial categories, and some racial categories are systemically less consistent than others across datasets. We find evidence that racial categories encode stereotypes, and exclude ethnic groups from categories on the basis of nonconformity to stereotypes. Representing a billion humans under one racial category may obscure disparities and create new ones by encoding stereotypes of racial systems. The difficulty of adequately converting the abstract concept of race into a tool for measuring fairness underscores the need for a method more flexible and culturally aware than racial categories.

연구 동기 및 목표

• 컴퓨터 시각 데이터셋에서 사용되는 인종 카테고리의 교차 데이터셋 일관성을 조사하기 위해.
• 인종 카테고리가 인종 고정관념을 내재하고 있으며 비일치하는 민족 그룹을 배제하는지 평가하기 위해.
• 다양한 데이터셋 간에 인종 레이블의 일반화 및 신뢰성 평가하기 위해.
• AI 시스템에서 인종을 고정된 카테고리 레이블로 체현하는 것의 위험성을 부각하기 위해.
• 기계 학습에서 공정성 및 다양성의 프록시로 인종 카테고리를 사용하는 것의 타당성에 도전하기 위해.

제안 방법

• 범주적 인종 레이블이 부여된 네 가지 주요 공정한 컴퓨터 시각 데이터셋에 대해 다수의 이미지 분류기를 훈련시켰다.
• 데이터셋 간 분류기 간 일치도를 통해 인종 카테고리 경계의 일관성을 측정하는 지표로 사용했다.
• 특히 비표준적인 민족 그룹에 대해 인종 카테고리에 할당되는 일관성의 정도를 평가했다.
• 민족 그룹이 데이터셋에 내재된 인종 고정관념에 얼마나 부합하는지 테스트하기 위해 소규모 수작업 레이블링 데이터셋을 수집했다.
• 이에 따라 동아프리카(예: 에티오피아계)와 서/중앙아프리카(예: 감비아계)의 개인에 대한 레이블링 격차를 분석하여 지리적 및 문화적 편향을 탐지했다.
• 다양한 데이터셋 간 분류기 예측을 비교하여 체계적인 고정관념화 및 배제 패턴을 탐지했다.

실험 결과

연구 질문

• RQ1 동일한 명칭의 인종 카테고리 레이블을 사용하고 있음에도 불구하고, 다양한 컴퓨터 시각 데이터셋 간에 인종 카테고리 할당은 얼마나 일관성 있는가?
• RQ2 데이터셋의 인종 카테고리가 사회문화적 또는 민족 정체성보다 인종 고정관념을 얼마나 많이 내재하고 있는가?
• RQ3 비표준적인 민족 그룹(예: 동아프리카계)은 데이터셋 간에 레이블링 일관성 측면에서 어떻게 대응되는가?
• RQ4 인종 레이블의 일관성 부족은 AI에서의 공정성 평가 및 다양성 측정에 어떤 영향을 미치는가?
• RQ5 데이터셋 수집의 문화적 및 지리적 맥락은 컴퓨터 시각에서 인종 카테고리의 구성에 어떤 영향을 미치는가?

주요 결과

• 모든 데이터셋은 동일한 명칭의 인종 카테고리 레이블을 사용하고 있음에도 불구하고, 본질적으로 고유한 인종 체계를 내재하고 있다.
• 인종 카테고리의 레이블링에 체계적인 일관성이 없으며, 일부 집단(예: 동아프리카계)은 데이터셋 간에 일관되게 '흑인'으로 분류되지 않는다.
• 주로 특정 카테고리의 주로 알려진 신체적 특징과 일치하지 않는 개인의 인종을 분류기들이 서로 크게 다를 바로 예측한다.
• 에티오피아계 개인은 감비아계 개인보다 '흑인'으로 일관되게 레이블링되지 않음을 발견하여, 데이터셋 구성 과정에서 지리적 및 문화적 편향이 존재함을 시사한다.
• 데이터셋의 인종 카테고리는 일반적인 신체적 고정관념과 일치하지 않는 민족 집단을 자주 배제하거나 잘못 표현한다.
• 데이터셋을 통해 인종을 고정된 개념으로 체현함으로써 역사를 반영한 역사적 및 문화적 편향이 악화될 위험이 있으며, 특히 AI 시스템 간에 데이터셋이 재사용되고 확산될 경우 더욱 심화된다.