[논문 리뷰] SensitiveLoss: Improving Accuracy and Fairness of Face Representations with Discrimination-Aware Deep Learning

Ignacio Serna, Aythami Morales외 4명|arXiv (Cornell University)|2020. 04. 22.

Face recognition and analysis인용 수 11

한 줄 요약

이 논문은 사전 훈련된 모델 내의 편향을 식별하고 완화함으로써 딥 페이스 인식에서 공정성과 정확도를 향상시키는 인식 기반 손실 함수인 SensitiveLoss를 제안한다. 이는 기존 네트워크에 추가로 적용되는 방식으로, 민감한 트리플릿 생성기를 사용해 표현을 재학습함으로써 최신 기술 수준의 공정성을 달성하며, 인구 통계적 집단 간 성능 격차에서 33%의 상대적 향상을 이끌어내면서도 높은 평균 정확도를 유지한다.

ABSTRACT

We propose a discrimination-aware learning method to improve both accuracy and fairness of biased face recognition algorithms. The most popular face recognition benchmarks assume a distribution of subjects without paying much attention to their demographic attributes. In this work, we perform a comprehensive discrimination-aware experimentation of deep learning-based face recognition. We also propose a general formulation of algorithmic discrimination with application to face biometrics. The experiments include tree popular face recognition models and three public databases composed of 64,000 identities from different demographic groups characterized by gender and ethnicity. We experimentally show that learning processes based on the most used face databases have led to popular pre-trained deep face models that present a strong algorithmic discrimination. We finally propose a discrimination-aware learning method, Sensitive Loss, based on the popular triplet loss function and a sensitive triplet generator. Our approach works as an add-on to pre-trained networks and is used to improve their performance in terms of average accuracy and fairness. The method shows results comparable to state-of-the-art de-biasing networks and represents a step forward to prevent discriminatory effects by automatic systems.

연구 동기 및 목표

• 광범위하게 사용되는 사전 훈련된 얼굴 인식 모델에서 알고리즘적 차별성을 분석하고 정량화하는 것.
• 생체정보 기반 기계 학습에 적용 가능한 집단 기반 알고리즘적 차별성의 일반화된 수식을 개발하는 것.
• 모델을 다시 훈련하지 않고도 공정성을 향상시킬 수 있는 실용적인 추가 방법을 제안하는 것.
• 주요 공개 데이터셋을 통해 성별 및 민족에 따른 인구 통계적 편향이 얼굴 인식 성능에 미치는 영향을 평가하는 것.
• 경량의, 인식 기반 훈련 방식을 통해 공정성과 정확도를 동시에 향상시킬 수 있음을 입증하는 것.

제안 방법

• 인구 통계적 집단 간 성능 격차를 바탕으로 알고리즘적 차별성의 일반화된 수식을 제안한다.
• 민감한 속성(예: 성별, 민족)을 손실 계산에 통합한 수정된 트리플릿 손실인 SensitiveLoss를 도입한다.
• 훈련 중에 성능이 열악한 인구 통계적 집단과 관련된 하드 트리플릿을 동적으로 선택하기 위해 민감한 트리플릿 생성기를 사용한다.
• 사전 훈련된 모델(VGG-Face, ResNet-50, ArcFace) 위에 SensitiveLoss를 피니팅 헤드로 적용하여 전체 재학습을 방지한다.
• 인구 통계적 집단 간 성능 격차를 최소화하면서도 전체 정확도를 유지하는 공정성 인식 최적화 목표를 활용한다.
• 64,000명의 신원과 150만 장의 이미지로 구성된 세 개의 공개 데이터셋(DiveFace, RFW, BUPT-B)에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 유명한 사전 훈련된 얼굴 인식 모델이 인구 통계적 집단 간에 얼마나 높은 성능 격차를 보이는가?
• RQ2 정확도를 훼손하지 않으면서도 공정성 향상을 위한 인식 기반 손실 함수를 설계할 수 있는가?
• RQ3 기존에 훈련된 네트워크에서 다시 훈련하는 것과 비교해 SensitiveLoss가 추가 방법으로 얼마나 효과적인가?
• RQ4 성별, 민족 등의 인구 통계적 공변량이 딥 얼굴 모델의 내부 표현에 어떤 영향을 미치는가?
• RQ5 경량의 후행(post-hoc) 방법이 최소한의 재학습으로 기존 모델의 알고리즘적 편향을 줄일 수 있는가?

주요 결과

• 테스트된 두 사전 훈련된 모델(VGG-Face 및 ResNet-50)은 소수 민족 집단에서 최고 성능 집단 대비 최대 200%의 상대적 오차 악화를 보였다.
• Baseline 대비 SensitiveLoss는 인구 통계적 집단 간 성능 격차를 33% 상대적으로 감소시켜 공정성 점수를 3.37로 향상시켰으며, 이는 baseline의 4.81에 비해 향상된 수치이다.
• 모든 집단의 평균 정확도는 baseline 대비 25% 상대적으로 향상되었으며, 표준편차 0.54를 유지하여 성능의 변동성이 감소함을 나타냈다.
• 내부 활성화 분석을 통해 다양한 인구 통계적 집단에 대해 네트워크 레이어에서 특이적이고 편향된 특징 패턴이 확인되어 알고리즘적 편향의 존재를 확인했다.
• SensitiveLoss는 RL-RBN 및 DebFace와 같은 전용 편향 제거 네트워크보다 공정성 향상에서 뛰어난 성능을 보였으며, 더 단순하고 기존 모델에 추가로 적용 가능한 특징을 지녔다.
• DiveFace, RFW, BUPT-B 세 가지 다양한 데이터셋에서의 성능을 통해 이 방법이 일반화 가능하고 실용적인 가치를 지닌다는 것을 입증했다.