[논문 리뷰] An adversarial learning algorithm for mitigating gender bias in face recognition.

Prithviraj Dhar, Joshua Gleason외 3명|arXiv (Cornell University)|2020. 06. 14.

Face recognition and analysis참고 문헌 38인용 수 7

한 줄 요약

이 논문은 딥 페이스 인식에서 암묵적으로 코딩된 성별 정보를 최소화함으로써 성별 편향을 감소시키는 손실 기반 신규 방법인 적대적 성별 탈편향(AGD)을 제안한다. $L_{br}$라는 편향 감소 손실을 도입함으로써 AGD는 두 개의 최신 네트워크에서 여성 얼굴에 대한 정확도를 크게 향상시키면서도 강력한 신원 식별 성능을 유지한다.

ABSTRACT

State-of-the-art face recognition networks implicitly encode gender information while being trained for identity classification. Gender is often viewed as an important face attribute to recognize humans. But, the expression of gender information in deep facial features appears to contribute to gender bias in face recognition, i.e. we find a significant difference in the recognition accuracy of DCNNs on male and female faces. We hypothesize that reducing implicitly encoded gender information will help reduce this gender bias. Therefore, we present a novel approach called `Adversarial Gender De-biasing (AGD)' to reduce the strength of gender information in face recognition features. We accomplish this by introducing a bias reducing classification loss $L_{br}$. We show that AGD significantly reduces bias, while achieving reasonable recognition performance. The results of our approach are presented on two state-of-the-art networks.

연구 동기 및 목표

• 딥 페이스 인식 시스템에서 여성 얼굴의 인식 정확도가 남성 얼굴에 비해 현저히 낮은 성별 편향 문제를 해결하기 위해.
• 딥 얼굴 특징에 암묵적으로 코딩된 성별 정보를 줄이면 이 편향을 완화할 수 있는지 조사하기 위해.
• 신원 식별 성능을 훼손하지 않으면서도 공정성을 향상시키는 훈련 시간 기반의 방법을 개발하기 위해.
• 최신의 얼굴 인식 아키텍처에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 딥 얼굴 특징에 있는 성별 정보를 최소화하도록 유도하는 편향 감소 분류 손실 $L_{br}$를 도입한다.
• 기본 신원 분류 손실과 제안된 $L_{br}$를 조합한 손실을 사용하여 얼굴 인식 네트워크를 훈련함으로써 특징의 편향을 제거한다.
• 신원 인식 특징을 생성하면서도 성별을 예측하기 어려운 특징을 얻도록 적대적 훈련 프레임워크를 적용한다.
• 일반화성과 효과성을 평가하기 위해 두 개의 최신 얼굴 인식 네트워크에서 훈련 중에 이 방법을 적용한다.
• 편향 제거 손실이 신원 분류 헤드와 독립적으로 작동하도록 하여 모듈러한 통합을 가능하게 한다.
• $L_{br}$의 하이퍼파라미터 튜닝을 통해 신원 정확도와 성별 편향 감소 사이의 트레이드오���을 최적화한다.

실험 결과

연구 질문

• RQ1 딥 얼굴 특징에 암묵적으로 코딩된 성별 정보를 줄이면 얼굴 인식에서 성별 편향이 어느 정도 감소하는가?
• RQ2 훈련 시간 기반의 손실 기반 방법이 신원 식별 성능을 떨어뜨리지 않고 깊이 있는 얼굴 임베딩의 편향을 효과적으로 제거할 수 있는가?
• RQ3 제안된 AGD 방법은 다양한 최신 얼굴 인식 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ4 성별 정보의 감소가 남성과 여성 얼굴 간의 인식 정확도를 더 균형 있게 만드는가?

주요 결과

• 제안된 AGD 방법은 깊이 있는 얼굴 인식에서 성별 편향을 크게 감소시켜 여성 얼굴의 정확도를 향상시켰다.
• 남성 얼굴의 인식 성능는 유지되어 편향 제거가 전반적인 정확도를 훼손하지 않는다는 것을 나타낸다.
• 두 개의 최신 네트워크에서 강력한 신원 분류 성능를 유지하면서도 성별 편향이 상당히 감소하였다.
• $L_{br}$ 손실의 도입으로 재학습이나 아키텍처 변경 없이도 얼굴 임베딩 내 성별 정보의 강도를 효과적으로 최소화할 수 있었다.
• 결과적으로, 훈련 중에 명시적인 손실 설계를 통해 깊이 있는 얼굴 인식의 성별 편향을 줄일 수 있음을 보여주었다.
• 다양한 평가 환경에서 공정성 지표에 일관된 향상이 관찰되었다.