[논문 리뷰] Mitigating Gender Bias in Face Recognition Using the von Mises-Fisher Mixture Model

Jean-Rémy Conti, Nathan Noiry외 3명|arXiv (Cornell University)|2022. 10. 24.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 얼굴 인식 모델의 성별 편향을 완화하기 위해 공정한 버진 마이스-피셔 혼합 모델을 사용하는 후처리 방법인 윤리 모듈을 제안한다. 깊이 있는 임bedding에 성별에 특화된 분산 초모수를 조정하기 위해 얕은 신경망을 훈련시켜 BFAR 및 BFRR 지표를 크게 감소시키며, ArcFace, AdaCos, CosFace, CurricularFace 등 여러 모델에서 FAR=10⁻⁴일 때 동시에 가장 우수한 공정성 향상을 달성한다.

ABSTRACT

In spite of the high performance and reliability of deep learning algorithms in a wide range of everyday applications, many investigations tend to show that a lot of models exhibit biases, discriminating against specific subgroups of the population (e.g. gender, ethnicity). This urges the practitioner to develop fair systems with a uniform/comparable performance across sensitive groups. In this work, we investigate the gender bias of deep Face Recognition networks. In order to measure this bias, we introduce two new metrics, $\mathrm{BFAR}$ and $\mathrm{BFRR}$, that better reflect the inherent deployment needs of Face Recognition systems. Motivated by geometric considerations, we mitigate gender bias through a new post-processing methodology which transforms the deep embeddings of a pre-trained model to give more representation power to discriminated subgroups. It consists in training a shallow neural network by minimizing a Fair von Mises-Fisher loss whose hyperparameters account for the intra-class variance of each gender. Interestingly, we empirically observe that these hyperparameters are correlated with our fairness metrics. In fact, extensive numerical experiments on a variety of datasets show that a careful selection significantly reduces gender bias. The code used for the experiments can be found at https://github.com/JRConti/EthicalModule_vMF.

연구 동기 및 목표

• 최신 얼굴 인식 모델에서 남성과 여성 간의 거짓 수락률과 거짓 거부률의 높은 격차를 해결하기 위해.
• 실제 운영 환경의 제약 조건, 특히 보안 요구사항과 성별 간 균형 잡힌 성능을 반영하는 공정성 지표인 BFAR 및 BFRR를 개발하기 위해.
• 재학습 없이도 사전에 훈련된 모델의 편향을 수정할 수 있는 후처리 솔루션을 설계하기 위해.
• 심층 얼굴 임bedding의 초구면 기하학적 구조를 활용하여 성별 간 내부 클래스 분산의 차이를 모델링하기 위해.
• ArcFace, AdaCos, CosFace, CurricularFace 등 여러 사전에 훈련된 모델과 데이터셋에서 방법의 타당성과 일반화 능력을 검증하기 위해.

제안 방법

• 내부 클래스 분산에 성별에 특화된 초모수를 통합하여 하위군별 임베딩 분포에 적응할 수 있도록 하는 새로운 공정한 버진 마이스-피셔 손실을 제안한다.
• 고정된 사전에 훈련된 얼굴 인식 모델 위에 얕은 다층 퍼셉트론(윤리 모듈)을 훈련시켜 성별 인식 분산 매개변수에 기반해 임베딩을 재가중한다.
• 최대우도추정을 사용하여 공정한 버진 마이스-피셔 손실을 최소화함으로써 윤리 모듈을 훈련시키며, 이는 초구면 상의 버진 마이스-피셔 분포 혼합 모델을 기반으로 한다.
• 윤리 모듈의 세 가지 변형을 활용한다: EM-FAR( BFAR 최적화), EM-FRR( BFRR 최적화), EM-C(공정성 지표를 동시에 최적화)로 공정성과 성능의 균형을 이룬다.
• 보안 제약 조건을 충족시키기 위해 고정된 거짓 수락률(FAR) 수준에서 모델을 校정하며, 공정성 격차를 측정한다.
• LFW 및 MS1MV3 데이터셋에서 여러 사전에 훈련된 모델을 사용해 공정성과 정확도를 다양한 FAR 임계값에서 비교 검증한다.

실험 결과

연구 질문

• RQ1 기존의 공정성 정의보다 BFAR 및 BFRR라는 새로운 공정성 지표가 실생활 얼굴 인식 시스템의 운영 요구사항을 더 잘 반영할 수 있는가?
• RQ2 재학습 없이도 사전에 훈련된 얼굴 인식 모델의 성별 편향을 얼마나 효과적으로 후처리로 완화할 수 있는가?
• RQ3 버진 마이스-피셔 혼합 모델을 통해 성별 간 내부 클래스 분산의 차이를 모델링하면 임베딩 공간에서의 공정성이 어떻게 향상되는가?
• RQ4 단일 후처리 모듈이 다양한 사전에 훈련된 모델에서 동시에 BFAR 및 BFRR 격차를 감소시킬 수 있는가?
• RQ5 제안된 방법은 사전에 훈련된 시스템에서 백본 모델과 손실 함수의 변화에 대해 얼마나 강인한가?

주요 결과

• FAR=10⁻⁴일 때 윤리 모듈의 EM-C 변형이 BFAR 및 BFRR를 동시에 가장 크게 감소시켰으며, 원본 ArcFace 모델보다 공정성은 높이고 정확도는 경쟁 수준을 유지했다.
• FAR=10⁻⁴일 때 EM-C는 AdaCos에서 BFRR를 7.28에서 4.51로, BFAR를 1.08에서 1.57로 감소시켜 원본 모델과 PASS-g 기준선을 모두 초월했다.
• MobileFaceNet 기반 CosFace의 경우 EM-C는 BFRR를 8.18에서 2.71로, BFAR를 1.74에서 1.13으로 감소시켜 뚜렷한 공정성 향상을 이뤘으며 정확도 손실은 최소한이었다.
• EM-FAR 변형은 모든 모델에서 가장 낮은 BFAR(10⁻³일 때 1.01)를 달성하여 거짓 수락 격차를 최소화하는 데 효과적이었다.
• FAR=10⁻⁴일 때 EM-FRR 변형은 AdaCos에서 BFRR를 2.71로 달성하여 거짓 거부 편향을 강력하게 완화했다.
• 이 방법은 ArcFace, AdaCos, CosFace, CurricularFace 등 여러 사전에 훈련된 모델과 ResNet50, MobileFaceNet 등의 백본에서 일반화 및 이식 가능성을 입증했다.