[논문 리뷰] Jointly De-biasing Face Recognition and Demographic Attribute Estimation

Sixue Gong, Xiaoming Liu외 1명|arXiv (Cornell University)|2019. 11. 19.

Face recognition and analysis참고 문헌 57인용 수 16

한 줄 요약

이 논문은 신원, 성별, 연령, 인종에 대한 분리된 표현을 학습함으로써 얼굴 인식과 인구통계적 속성 추정을 동시에 탈편성화하는 새로운 적대적 네트워크인 DebFace를 제안한다. 특성 요소 간 상관관계를 최소화하기 위해 다중 작업 적대적 훈련을 사용함으로써 DebFace는 인식 및 속성 예측에서의 편향을 감소시키면서도 기준 데이터셋에서 최신 기술 수준의 성능을 유지한다.

ABSTRACT

We address the problem of bias in automated face recognition and demographic attribute estimation algorithms, where errors are lower on certain cohorts belonging to specific demographic groups. We present a novel de-biasing adversarial network (DebFace) that learns to extract disentangled feature representations for both unbiased face recognition and demographics estimation. The proposed network consists of one identity classifier and three demographic classifiers (for gender, age, and race) that are trained to distinguish identity and demographic attributes, respectively. Adversarial learning is adopted to minimize correlation among feature factors so as to abate bias influence from other factors. We also design a new scheme to combine demographics with identity features to strengthen robustness of face representation in different demographic groups. The experimental results show that our approach is able to reduce bias in face recognition as well as demographics estimation while achieving state-of-the-art performance.

연구 동기 및 목표

• 부족한 대표성을 가진 집단에서 성능이 저하되는 얼굴 인식 및 속성 추정에서의 인구통계적 편향을 해결하기 위해.
• 기본적으로 편향된 인구통계적 분류기가 존재할 경우 기존 탈편성화 방법이 실패하는 한계를 극복하기 위해.
• 적대적 다중 작업 학습을 통해 신원 및 인구통계적 속성에 대한 분리된 표현을 공동으로 학습하기 위해.
• 필요에 따라 탈편성화된 신원 특징과 인구통계적 특징을 융합함으로써 공정성과 정확성의 균형을 이루기 위해.
• 분리된 표현이 얼굴 인식과 인구통계적 속성 추정 양 측면에서 편향을 감소시킨다는 것을 입증하기 위해.

제안 방법

• DebFace는 한 명의 신원 분류기와 성별, 연령, 인종에 대한 세 개의 인구통계적 분류기를 포함한 다중 작업 학습 프레임워크를 사용하며, 이는 특성 요소를 분리시키기 위해 설계된다.
• 모든 네 작업에 걸쳐 적대적 학습이 적용되며, 각 분류기가 다른 특성 요소와의 상관관계를 최소화하기 위해 디스커미네이터 역할을 한다.
• 공유 인코더를 통해 특징을 추출한 후, 신원 및 인구통계적 예측을 위한 작업별 헤드를 적용한다.
• 새로운 융합 메커니즘이 인구통계적 특징과 신원 특징을 융합하여, 편향을 고려한 강력한 표현(DemoID)을 형성함으로써 일반화 능력을 향상시킨다.
• 특성 분리와 편향 전파 감소를 유도하기 위해 적대적 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 잠재적 특징에서의 얼굴 복원을 통해 신원 표현에서의 인구통계적 특성 감소를 정성적으로 검증한다.

실험 결과

연구 질문

• RQ1 적대적 다중 작업 학습이 얼굴 인식과 인구통계적 속성 추정을 동시에 효과적으로 탈편성화하는 데에 적합한가?
• RQ2 독립적인 탈편성화와 비교했을 때, 신원과 인구통계적 표현을 공동으로 학습하는 것이 편향을 감소시키는 데에 효과적인가?
• RQ3 신원 특징에서 인구통계적 정보를 제거하면 다양한 인구집단 간 얼굴 검증 정확도에 어떤 영향을 미치는가?
• RQ4 융합된 표현이 탈편성화된 신원 특징과 인구통계적 특징의 이점을 결합하면서도 다시 편향을 유발하지는 않는가?
• RQ5 기존 최신 기술 수준의 접근법과 비교했을 때, 제안된 방법이 얼마나 인구통계적 편향을 감소시키는가?

주요 결과

• DebFace-ID는 RFW에서 0.83의 편향도를 기록하여 이전 연구의 0.93보다 향상된 성능을 보이며, 얼굴 인식에서의 인구통계적 편향을 감소시켰다. 동시에 높은 검증 정확도를 유지했다.
• RFW 데이터셋에서 DebFace-ID는 백인 95.95%, 흑인 93.67%, 아시아계 94.33%, 인디안 94.78%의 검증 정확도를 기록하여 공정성 향상을 입증했다.
• DebFace-ID에서 인구통계적 속성 분류 정확도는 크게 감소했다 (예: 성별 73.36%, 인종 61.79%), 이는 효과적인 분리가 이루어졌음을 확인한다.
• LFW에서 DemoID는 98.97%의 검증 정확도를 기록하여 BaseFace(99.38%)보다 공정성 면에서 뛰어났으며, 정확성 면에서도 경쟁 가능했다.
• IJB-C에서 0.1% FAR 조건에서 DebFace-ID는 89.5%의 TAR을 기록하여 BaseFace(92.9%)보다 略로 낮았지만, 인종 간 오류 수용률이 크게 감소했다.
• DebFace-ID에서의 얼굴 복원 결과는 인종 및 연령 등의 인구통계적 특성이 감소한 반면, 신원 특징은 유지됨을 보여주어 분리의 타당성을 검증했다.