[논문 리뷰] Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition

Prithviraj Dhar, Joshua Gleason외 3명|arXiv (Cornell University)|2020. 06. 14.

Face recognition and analysis참고 문헌 37인용 수 7

한 줄 요약

이 논문은 사전 훈련된 얼굴 기술자에서 성별 정보를 감소시켜 얼굴 인식의 개인정보 泄露와 성별 편향을 완화하는 적대적 탈편향 프레임워크인 AGENDA를 제안한다. 정체성은 유지하면서 성별 예측 가능성을 최소화하도록 네트워크를 적대적으로 훈련시킴으로써, AGENDA는 정확도에 미미한 손실만을 초래하면서도 검증에서 성별 편향을 크게 감소시켜(예: 10⁻⁶ FPR에서 50% 감소) 훈련 데이터 구성에 의존하지 않는 확장 가능한 사후 처리 솔루션을 제공한다.

ABSTRACT

State-of-the-art deep networks implicitly encode gender information while being trained for face recognition. Gender is often viewed as an important attribute with respect to identifying faces. However, the implicit encoding of gender information in face descriptors has two major issues: (a.) It makes the descriptors susceptible to privacy leakage, i.e. a malicious agent can be trained to predict the face gender from such descriptors. (b.) It appears to contribute to gender bias in face recognition, i.e. we find a significant difference in the recognition accuracy of DCNNs on male and female faces. Therefore, we present a novel `Adversarial Gender De-biasing algorithm (AGENDA)' to reduce the gender information present in face descriptors obtained from previously trained face recognition networks. We show that AGENDA significantly reduces gender predictability of face descriptors. Consequently, we are also able to reduce gender bias in face verification while maintaining reasonable recognition performance.

연구 동기 및 목표

• 사전 훈련된 얼굴 기술자에 인코딩된 성별 정보로 인한 개인정보 泄露 문제를 해결하기 위해.
• 훈련 데이터 구성 변경 없이 얼굴 검증에서의 성별 편향을 감소시키기 위해.
• 성별 균형 훈련 데이터에 의존하지 않는 사후 처리 및 확장 가능한 방법을 개발하기 위해.
• 얼굴 기술자에서 성별 예측 가능성과 검증 편향 간의 관계를 평가하기 위해.
• 기술자에서 성별 정보를 감소시키면 검증 성능이 더 공정해진다는 것을 입증하기 위해.

제안 방법

• AGENDA는 사전 훈련된 얼굴 기술자를 입력으로 받아 성별에 민감하지 않은 표현을 학습하는 적대적 오토인코더이다.
• 모델은 이중 스트림 아키텍처를 사용한다: 하나의 스트림은 정체성 분류(지도 학습), 다른 하나는 성별 예측(적대적 학습).
• 훈련 중에 정체성 헤드는 정확도를 최적화하고, 성별 헤드는 잘못된 예측을 하도록 최적화하여 기술자가 성별 정보를 잃도록 유도한다.
• 손실 함수는 정체성 분류 손실과 적대적 손실을 조합하여 성별 예측 가능성을 최소화하면서도 정체성 구별 능력을 유지한다.
• 훈련 후 AGENDA는 원본 기술자를 성별 탈편향 표현으로 변환하여 후속 검증 작업에 활용할 수 있다.
• IJB-C 데이터셋을 사용해 ArcFace와 CrystalFace 기반 임베딩에서 평가하였으며, TPE 및 PCA 기반 베이스라인에 대한 분석도 수행하였다.

실험 결과

연구 질문

• RQ1 얼굴 기술자에서 성별 예측 가능성을 감소시키면 얼굴 검증에서 성별 편향이 감소하는가?
• RQ2 재훈련 없이도 적대적 프레임워크가 원본 인식 네트워크를 수정하지 않고 얼굴 기술자를 효과적으로 탈편향시킬 수 있는가?
• RQ3 PCA 기반 베이스라인과 비교해 AGENDA의 성별 편향 감소 성능는 어떠한가?
• RQ4 탈편향 기술자를 사용할 경우 성별 편향 감소와 정확도 간의 상충 관계는 어떻게 되는가?
• RQ5 삼중체 확률 임베딩(TPE)을 사용하면 탈편향 기술자에서 성별 편향이 증폭되거나 완화되는가?

주요 결과

• AGENDA는 얼굴 기술자에서 성별 예측 가능성을 크게 감소시켰으며, 원본 기술자 대비 성별 분류 정확도가 50% 낮아졌다.
• 10⁻⁶의 가짜 양성률(FPR)에서 AGENDA는 검증에서 성별 편향을 원본의 0.11에서 0.06으로 감소시켜 상당한 공정성 향상을 보였다.
• 특히 낮은 FPR 영역에서 성향이 가장 중요한 상황에서 CorrPCA 베이스라인보다 성별 편향 감소 성능가 뛰어나다.
• AGENDA 변환 후 정확도는 약간 감소하지만 여전히 높은 수준을 유지한다(예: 10⁻⁶ FPR에서 남성의 TPR이 0.57), 성능 손실가 미미함을 시사한다.
• AGENDA 변환 후 TPE를 적용하면 원본 기술자에 TPE를 적용하는 것보다 더 낮은 편향을 달성하여, 후속 처리와의 호환성이 있음을 보여준다.
• CrystalFace 기술자의 상위 256개 고유벡터는 ArcFace보다 더 높은 성별 상관관계를 보이며, 일부 모델에서 성별-정체성의 엉키는 정도가 더 높음을 시사한다.