[논문 리뷰] Racial Faces in-the-Wild: Reducing Racial Bias by Deep Unsupervised Domain Adaptation.

Mei Wang, Weihong Deng외 4명|arXiv (Cornell University)|2018. 12. 01.

Face recognition and analysis참고 문헌 30인용 수 24

한 줄 요약

이 논문은 Racial Faces in-the-Wild (RFW) 데이터셋을 소개하고, 새로운 상호정보 손실을 활용하여 글로벌 도메인 분포를 정렬하고 분류 가능한 클러스터 수준의 표현을 향상시켜 얼굴 인식에서 인종 편향을 줄이는 딥 비지도 학습 도메인 적응 네트워크인 IMAN을 제안한다. 실험 결과, IMAN은 다양한 인종과 데이터셋 간에 공정성과 일반화 능력을 크게 향상시킨다.

ABSTRACT

Racial bias is an important issue in biometric, but has not been thoroughly studied in deep face recognition. In this paper, we first contribute a dedicated dataset called Racial Faces in-the-Wild (RFW) database, on which we firmly validated the racial bias of four commercial APIs and four state-of-the-art (SOTA) algorithms. Then, we further present the solution using deep unsupervised domain adaptation and propose a deep information maximization adaptation network (IMAN) to alleviate this bias by using Caucasian as source domain and other races as target domains. This unsupervised method simultaneously aligns global distribution to decrease race gap at domain-level, and learns the discriminative target representations at cluster level. A novel mutual information loss is proposed to further enhance the discriminative ability of network output without label information. Extensive experiments on RFW, GBU, and IJB-A databases show that IMAN successfully learns features that generalize well across different races and across different databases.

연구 동기 및 목표

• 상용 얼굴 인식 API와 최신 기술 알고리즘에서 인종 편향이 실제로 존재하는지 조사하고 검증한다.
• 대상 도메인 데이터에 레이블이 없는 조건에서도 인종 편향을 줄일 수 있는 해결책을 개발한다.
• 도메인 분포 정렬과 비지도 방식으로 분류 가능한 표현을 학습하여 인종 간 일반화 능력을 향상시킨다.
• 레이블이 없는 조건에서 기능의 분류 가능성을 향상시키는 새로운 상호정보 손실을 제안한다.

제안 방법

• 다양한 인구 집단에서 얼굴 인식의 인종 편향을 평가하기 위해 Racial Faces in-the-Wild (RFW) 데이터셋을 제안한다.
• 비지도 학습 도메인 적응 프레임워크에서 백인 얼굴을 소스 도메인으로, 다른 인종을 타겟 도메인으로 사용한다.
• 글로벌 도메인 분포를 정렬하고 분류 가능한 클러스터 수준의 표현을 학습하기 위해 심층 정보 최대화 적응 네트워크(IMAN)를 활용한다.
• 특징과 정체성 레이블 간의 정보를 최대화하여 레이블 없이도 분류 능력을 향상시키는 새로운 상호정보 손실을 도입한다.
• 소스 도메인 레이블과 타겟 도메인의 레이블 없이 데이터를 사용하여 네트워크를 종단 간(end-to-end)으로 훈련한다.
• 도메인 불변 특징 학습을 활용하여 인종에 따른 성능 격차를 줄인다.

실험 결과

연구 질문

• RQ1 상용 얼굴 인식 API와 최신 알고리즘이 실제 환경에서 얼마나 심각한 인종 편향을 보이는가?
• RQ2 레이블이 없는 타겟 데이터를 사용하지 않고도 비지도 학습 도메인 적응이 얼굴 인식에서 인종 편향을 효과적으로 줄일 수 있는가?
• RQ3 도메인 수준의 분포 정렬과 클러스터 수준의 표현 학습이 함께 공정성과 일반화 능력을 향상시키는 방식은 무엇인가?
• RQ4 레이블이 없는 조건에서 상호정보 기반 손실이 분류 가능한 특징을 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• RFW 데이터셋은 네 개의 상용 API와 네 개의 최신 얼굴 인식 모델에서 경피색 피부를 가진 사람에게 유리한 성능 격차가 심각하게 존재함을 드러냈다.
• IMAN은 RFW, GBU, IJB-A 데이터셋에서 최신 기술 성능을 기록하며, 다양한 인종 간 공정성과 일반화 능력 향상을 입증했다.
• 제안된 상호정보 손실은 기능의 분류 가능성을 크게 향상시켜 제로샷 인식에서의 성능 향상을 이끌었다.
• IMAN은 글로벌 도메인 분포 정렬과 클러스터 수준에서의 강력한 분류 가능한 표현 학습을 통해 얼굴 인식의 인종 격차를 줄였다.
• 광범위한 실험 결과, IMAN이 다양한 데이터셋에 잘 일반화됨을 확인하여 강력한 도메인 적응 능력을 보였다.
• IMAN의 비지도 성격 덕분에 타겟 인종의 레이블이 없더라도 효과적인 편향 완화가 가능했다.