[논문 리뷰] Racial Faces in-the-Wild: Reducing Racial Bias by Information Maximization Adaptation Network

Mei Wang, Weihong Deng외 3명|arXiv (Cornell University)|2018. 12. 01.

Face recognition and analysis참고 문헌 70인용 수 32

한 줄 요약

이 논문은 새로운 상호정보 손실을 통해 전역 도메인 분포를 정렬하고 군집 수준의 구분 능력을 향상시켜 얼굴 인식에서 인종 편향을 줄이는 데 중점을 둔 딥 비지도 학습 도메인 적응 네트워크인 IMAN을 제안한다. 새로 도입된 Racial Faces in-the-Wild (RFW) 데이터셋에서 평가된 결과, IMAN은 인종 간 인식 정확도를 크게 향상시켰으며, 특히 아프리카계와 아시아계 얼굴에서 12%까지 우수한 성능을 기록하여 상용 API 및 SOTA 모델을 초월했다.

ABSTRACT

Racial bias is an important issue in biometric, but has not been thoroughly studied in deep face recognition. In this paper, we first contribute a dedicated dataset called Racial Faces in-the-Wild (RFW) database, on which we firmly validated the racial bias of four commercial APIs and four state-of-the-art (SOTA) algorithms. Then, we further present the solution using deep unsupervised domain adaptation and propose a deep information maximization adaptation network (IMAN) to alleviate this bias by using Caucasian as source domain and other races as target domains. This unsupervised method simultaneously aligns global distribution to decrease race gap at domain-level, and learns the discriminative target representations at cluster level. A novel mutual information loss is proposed to further enhance the discriminative ability of network output without label information. Extensive experiments on RFW, GBU, and IJB-A databases show that IMAN successfully learns features that generalize well across different races and across different databases.

연구 동기 및 목표

• 딥 얼굴 인식에서 인종 편향을 측정하기 위한 공정한 벤치마크를 구축하기 위해.
• 상용 API 및 SOTA 딥 러닝 모델에서 인종 편향의 존재와 근본 원인을 경험적으로 검증하기 위해.
• 목표 데이터에 레이블이 필요로 하지 않는 도메인 적응 프레임워크를 개발하기 위해.
• 비지도 방식으로 도메인 분포를 정렬하고 구분 능력 있는 특징 학습을 향상시켜 인종 간 일반화 성능을 향상시키기 위해.

제안 방법

• 인종 간 편향를 공정하게 평가하기 위해, 4개의 인종(Caucasian, Indian, Asian, African)에 걸쳐 6,000개의 어려운 쌍을 포함하는 Racial Faces in-the-Wild (RFW) 데이터셋을 제안한다.
• 백색 인종 얼굴을 소스 도메인으로, 나머지 인종을 타겟 도메인으로 삼아 비지도 학습 도메인 적응을 수행한다.
• 사전 적응 단계에서 가짜 레이블을 생성하기 위해 스펙트럴 클러스터링을 적용하여, 겹치지 않는 신원이 존재하는 상황에서도 분류기 학습이 가능하도록 한다.
• 가짜 레이블의 품질에 의존하지 않고, 모든 비라벨 타겟 데이터를 활용하여 구분 능력을 향상시키는 새로운 상호정보(MI) 손실을 도입한다.
• 전역 도메인 정렬을 위해 최대 평균 차이(MMD)를 사용하고, 군집 수준의 구분 능력 향상을 위해 MI 기반 손실을 조합한다.
• Arcface를 기본 분류 손실로 사용하고, 비지도 방식으로 네트워크를 종합적으로 미세조정한다.

실험 결과

연구 질문

• RQ1 딥 얼굴 인식에서 상용 API 및 SOTA 모델 간에 심각한 인종 편향이 존재하는가?
• RQ2 학습 데이터의 불균형과 알고리즘 설계는 얼굴 인식에서 인종 편향에 얼마나 기여하는가?
• RQ3 소스 도메인과 타겟 도메인이 겹치는 신원이 전혀 없는 상황에서 비지도 학습 도메인 적응이 인종 편향을 효과적으로 줄일 수 있는가?
• RQ4 타겟 레이블이 없는 상황에서 상호정보 최대화가 특징의 구분 능력을 어떻게 향상시키는가?
• RQ5 제안된 IMAN 프레임워크는 인종 편향 외에도 자세, 조명, 이미지 품질 변동 등의 다른 도메인 갭을 줄이는 데 일반화 가능한가?

주요 결과

• RFW 데이터셋에서 상용 API 및 SOTA 모델은 아프리카계 얼굴에서 백색 인종 얼굴 대비 최대 14.5% 낮은 정확도를 보이며 심각한 인종 편향이 있음을 확인했다.
• IMAN은 인도계 얼굴에서 평균 검증 정확도 93.55%, 아시아계 얼굴에서 89.87%, 아프리카계 얼굴에서 88.88%를 기록했으며, 최고의 베이스라인보다 평균 2.5% 이상 높은 성능을 보였다.
• 제거 실험 결과, 가짜 레이블링과 MI 손실 모두 필수적임을 확인했다: 둘 중 하나를 제거하면 평균 2.3% 이상 성능 저하가 발생했다.
• t-SNE 시각화와 MMD 점수 분석을 통해 IMAN는 Arcface 대비 도메인 갭을 40% 감소시켰다.
• GBU 데이터셋에서 IMAN는 FAR 0.001일 때 98.88%의 검증률을 기록하여 SOTA 방법보다 2.88% 높은 성능을 보였다.
• IJB-A에서 IMAN는 랭크-1 식별 정확도 94.05%를 달성하여 이전 SOTA를 3.37% 초월했다.