[논문 리뷰] Asymmetric Rejection Loss for Fairer Face Recognition

Haoyu Qin|arXiv (Cornell University)|2020. 02. 09.

Face recognition and analysis참고 문헌 31인용 수 4

한 줄 요약

이 논문은 비대칭 기각 손실(ARL)을 제안하며, 부족하게 표현된 민족 집단의 레이블이 없는 이미지를 활용하여 얼굴 인식에서 인종 편향을 줄이는 준지도 학습 방법이다. 각 레이블이 없는 이미지를 고유한 클래스로 간주하고, 코사인 페널티를 포함한 비대칭 대비 손실 함수에서 레이블이 있는 데이터와 레이블이 없는 데이터를 비대칭적으로 조합함으로써, 유럽계 인구의 정확도를 떨어뜨리지 않은 채 아프리카계, 아시아계, 인도계 집단의 성능을 향상시킨다. 이로써 RFW 및 MS_wo_RFW 벤치마크에서 최신 기준의 공정성 향상 성과를 달성한다.

ABSTRACT

Face recognition performance has seen a tremendous gain in recent years, mostly due to the availability of large-scale face images dataset that can be exploited by deep neural networks to learn powerful face representations. However, recent research has shown differences in face recognition performance across different ethnic groups mostly due to the racial imbalance in the training datasets where Caucasian identities largely dominate other ethnicities. This is actually symptomatic of the under-representation of non-Caucasian ethnic groups in the celebdom from which face datasets are usually gathered, rendering the acquisition of labeled data of the under-represented groups challenging. In this paper, we propose an Asymmetric Rejection Loss, which aims at making full use of unlabeled images of those under-represented groups, to reduce the racial bias of face recognition models. We view each unlabeled image as a unique class, however as we cannot guarantee that two unlabeled samples are from a distinct class we exploit both labeled and unlabeled data in an asymmetric manner in our loss formalism. Extensive experiments show our method's strength in mitigating racial bias, outperforming state-of-the-art semi-supervision methods. Performance on the under-represented ethnicity groups increases while that on the well-represented group is nearly unchanged.

연구 동기 및 목표

• 학습 데이터셋에서 비유럽계 민족 집단의 부족한 표현으로 인해 발생하는 얼굴 인식 모델의 인종 편향을 해결한다.
• 식별 레이블이 필요 없이, 부족하게 표현된 민족 집단의 레이블이 없는 이미지를 효과적으로 활용할 수 있는 준지도 학습 방법을 개발한다.
• 소수 민족 집단의 성능 향상을 통해 얼굴 검증의 공정성을 향상시키되, 잘 표현된 집단의 성능를 유지하거나 약간 감소시키는 것을 목표로 한다.
• 성별 불균형이 영향을 미치는지 조사하고, 레이블이 없는 데이터에 대해 성별 균형 잡힌 샘플링 전략을 제안하여 편향을 더욱 줄인다.

제안 방법

• 각 레이블이 없는 이미지를 고유한 클래스로 간주하고, 대비 손실 함수에서 레이블이 있는 클래스와 비대칭적으로 조합하는 비대칭 기각 손실(ARL)을 제안한다.
• 레이블이 없는 이미지 간의 민족 집단 간 구별을 유도하기 위해 코사인 유사도 기반 페널티를 사용한다. 이는 기준 레이블이 없더라도 가능하다.
• 다른 민족 태그를 가진 K개의 레이블이 없는 이미지를 음성 샘플로 고려하는 K 기반 전략을 도입하여 민족 집단 간의 구별 능력을 향상시킨다.
• 미니배치 내에서 안전한 레이블이 없는 이미지 쌍에 대해 코사인 페널티를 적용하여 특징 분리와 모델 일반화 능력을 향상시킨다.
• 예측된 성별 점수를 기반으로 필터링 및 선택을 통해 레이블이 없는 데이터에 대한 성별 균형 잡힌 샘플링 전략을 도입하여 성별 편향을 줄인다.
• Arcface를 기본 손실로 사용하고, ARL과 코사인 페널티를 공동 최적화 프레임워크에 통합하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 부족하게 표현된 민족 집단의 레이블이 없는 이미지를 효과적으로 활용하여 얼굴 인식 모델의 인종 편향을 줄일 수 있는가?
• RQ2 손실 함수에서 레이블이 있는 데이터와 레이블이 없는 데이터를 비대칭적으로 처리하는 것이 대비 또는 군집 기반 접근 방식보다 더 나은 공정성을 달성하는가?
• RQ3 레이블이 없는 이미지 쌍에 코사인 페널티를 적용하면 민족 집단 간의 편향을 줄이고 모델 일반화 능력을 향상시킬 수 있는가?
• RQ4 레이블이 없는 데이터의 성별 불균형이 모델의 공정성에 어떤 영향을 미치며, 균형 잡힌 샘플링 전략이 이를 완화할 수 있는가?

주요 결과

• RFW 벤치마크에서 ARL은 아프리카계, 아시아계, 인도계 집단의 검증 정확도를 최대 5.5%p 향상시키며, 유럽계 신원의 정확도는 거의 그대로 유지한다.
• ARL+C(코사인 페널티 포함)는 RFW의 어려운 쌍에서 평균 정확도 87.36%를 달성하여 기준 모델의 85.64%에서 향상되었고, 표준편차 3.05로 감소하여 공정성 향상이 확인되었다.
• MS_wo_RFW에서 ARL+C는 기준 모델의 93.51%에서 평균 정확도 94.20%로 향상되었으며, 표준편차는 2.69에서 2.38로 감소하여 성능 격차 감소가 확인되었다.
• 코사인 페널티 전략은 부족하게 표현된 집단의 성능 향상을 이끌었지만, 레이블이 없는 데이터의 성별 불균형은 결과에 악영향을 미칠 수 있으며, 특히 아시아계 여성에서 두드러진다.
• 레이블이 없는 이미지에 대해 성별 균형 잡힌 샘플링 전략을 적용하면 아시아계 집단에서 성능 향상이 명확하게 관찰되며, 엄격한 FPR 임계값 하에서도 두드러진다. 이는 데이터 내 성별 편향의 영향을 입증한다.
• 각 주체가 레이블이 없는 데이터셋에서 단 한 장의 이미지만 가질 경우에도 이 방법은 효과를 유지하며, 열악한 군집화나 노이즈가 많은 묶음 문제를 피할 수 있다.