[논문 리뷰] About Face: A Survey of Facial Recognition Evaluation

Inioluwa Deborah Raji, Genevieve Fried|arXiv (Cornell University)|2021. 02. 01.

Face recognition and analysis참고 문헌 51인용 수 39

한 줄 요약

이 설문은 1976–2019년 사이에 총 145 million images를 포함하는 100+ 얼굴 데이터셋을 분석하고, 벤치마크와 인구통계학적 요소가 어떻게 진화해왔는지 평가하며, 평가를 실제 운영 환경과 일치시킬 수 있도록 명시적 맥락 보고를 제안한다.

ABSTRACT

We survey over 100 face datasets constructed between 1976 to 2019 of 145 million images of over 17 million subjects from a range of sources, demographics and conditions. Our historical survey reveals that these datasets are contextually informed, shaped by changes in political motivations, technological capability and current norms. We discuss how such influences mask specific practices (some of which may actually be harmful or otherwise problematic) and make a case for the explicit communication of such details in order to establish a more grounded understanding of the technology's function in the real world.

연구 동기 및 목표

• 얼굴 인식 평가가 네 가지 역사적 시기에 걸쳐 어떻게 진화했는지와 데이터셋 설계가 모델 성능에 어떤 영향을 미치는지 파악
• 벤치마크에서의 데이터 소스, 동의, 개인 정보 보호 및 인구통계 representation을 평가
• 벤치마크 성능과 실제 운영 결과 간의 차이를 강조하고 맥락 보고를 촉진
• 운영 맥락을 더 잘 반영하기 위한 평가 보고 및 거버넌스 개선 제안

제안 방법

• 1976–2019년의 133개 데이터셋을 Historical, period-based로 분석하여 총 145,143,610장의 이미지와 17,733,157명의 피험자를 포함
• 데이터 소스(촬영 세션, 웹-소스, 감시), 동의 관행 및 인구통계 보고의 분류
• 평가 지표(FMR, FNMR, 정확도) 및 임계값 선택이 보고된 성능에 미치는 영향 분석
• 다양한 시대의 작업 유형(탐지, 검증, 식별, 분석)과 해당 벤치마크를 교차로 종합
• 거버넌스, 감사(NIST FVRT 등) 평가의 필요성 및 포괄적이고 배치 인지적 평가의 필요성
• 윤리적 위험성, 프라이버시 이슈 및 벤치마크와 마케팅에서의 오용 가능성 논의

실험 결과

연구 질문

• RQ1 1976년에서 2019년까지 벤치마크와 데이터 소스가 어떻게 진화했는가?
• RQ2 인구통계, 동의 및 보고 규범을 포함한 평가 관행의 주요 요인은 무엇인가?
• RQ3 왜 벤치마크 결과가 실제 성능과 종종 다르게 나타나며, 평가를 배치 맥락에 더 잘 반영하려면 어떻게 해야 하는가?
• RQ4 평가를 더 포괄적이고 윤리적으로 책임지게 만들 거버넌스, 감사 및 보고의 개선은 무엇인가?

주요 결과

Period	Period I	Period II	Period III	Period IV	Years
Number of Datasets Created	5	37	33	45	Before 1996	1996 - 2007	2007-2014	After 2014
Range of images per dataset (MIN- MAX)	56 - 14,126	120 - 121,589	154 - 750,000	642 - 50,000,000
Range of subjects per dataset (MIN- MAX)	4 - 1,199	10 - 37,437	32 - 40,395	50 - 14,400,000
Average images per dataset	2,032	11,250	46,308	2,620,489
Average subjects per dataset	136	1,641	4,078	75,726
-	-	-	-	-

• 설문은 133개 데이터셋(1976–2019)과 145,143,610장의 이미지, 17,733,157명의 피험자를 다룬다
• 데이터셋 발표는 크기, 범위 및 작업에서 서로 다른 추세를 보이는 네 개의 기간으로 나뉘며 2014년 이후 딥러닝 시대에 절정에 이른다
• 현실 세계의 배치 실패와 편향(예: 인구통계학적 차이)은 벤치마크 성능으로 항상 포착되지는 않는다
• 데이터 소스가 제어된 촬영에서 웹 소스 및 감시 데이터로 이동하면서 동의 및 프라이버시 문제를 제기한다
• 인구통계 표현은 불균형하며, 온라인 데이터셋에서 서구 편향이 나타나고 일부 데이터셋에서 잘못된 라벨링이 문제를 야기한다
• 평가 지표(FMR, FNMR, 정확도)는 임계값으로 조작될 수 있으며, 포괄적 감사와 맥락 인지적 보고를 권고한다
• NIST FVRT는 배치 준비성에 대한 정량적 성능과 정성적 활용성의 이중 모드 평가의 가치를 보여준다
• 이 논문은 데이터셋 구성, 동의, 출처 및 의도된 사용 사례를 명시적으로 커뮤니케이션하여 실제 기능에 기반한 평가를 강화할 것을 주장한다