[논문 리뷰] Algorithmic Discrimination: Formulation and Exploration in Deep Learning-based Face Biometrics

Ignacio Serna, Aythami Morales외 4명|arXiv (Cornell University)|2019. 12. 04.

Face recognition and analysis참고 문헌 32인용 수 6

한 줄 요약

이 논문은 딥러닝 기반 얼굴 생체인식에서 알고리즘적 차별화의 일반적 수식을 제안하고, 6개의 인구군집에 균등하게 분포된 24,000명의 신원을 포함하는 새로 도입된 DiveFace 데이터셋을 사용하여 그 영향을 평가한다. 이를 통해 ResNet-50 및 VGG-Face와 같은 널리 사용되는 모델이 소수자 그룹(예: 그룹 3 여성)에서 성능에 대해 최대 200퍼센트의 상대 오차 악화를 보이며, 학습된 특징 표현에서 강한 인구군집별 편향이 존재함을 입증한다.

ABSTRACT

The most popular face recognition benchmarks assume a distribution of subjects without much attention to their demographic attributes. In this work, we perform a comprehensive discrimination-aware experimentation of deep learning-based face recognition. The main aim of this study is focused on a better understanding of the feature space generated by deep models, and the performance achieved over different demographic groups. We also propose a general formulation of algorithmic discrimination with application to face biometrics. The experiments are conducted over the new DiveFace database composed of 24K identities from six different demographic groups. Two popular face recognition models are considered in the experimental framework: ResNet-50 and VGG-Face. We experimentally show that demographic groups highly represented in popular face databases have led to popular pre-trained deep face models presenting strong algorithmic discrimination. That discrimination can be observed both qualitatively at the feature space of the deep models and quantitatively in large performance differences when applying those models in different demographic groups, e.g. for face biometrics.

연구 동기 및 목표

• 기계학습 작업에 적용 가능한 알고리즘적 차별화의 일반적 수학적 수식을 개발하는 것.
• 성별 및 민족과 같은 인구군집적 특성이 딥 얼굴 인식 모델의 특징 표현에 어떻게 영향을 미치는지 조사하는 것.
• 새로운 DiveFace 데이터셋을 사용하여 인기 있는 딥러닝 모델(ResNet-50 및 VGG-Face)의 균형 잡힌 인구군집 간 성능을 평가하는 것.
• 훈련 데이터의 인구군집 편향이 추론 시에만 차별적인 행동을 유도하는 정도를 분석하는 것, 특히 모델이 인구군집 분류를 위해 명시적으로 훈련되지 않았더라도 말이다.
• 얼굴 인식을 위해 훈련된 모델의 학습된 특징 공간에 민족 관련 정보가 포함되어 있음을 부각하는 것, 즉 명시적인 지시 없이도 존재함을 확인하는 것.

제안 방법

• 성능 격차를 기반으로 한 인구군집 간 알고리즘적 차별화의 일반적 수식을 제안하며, 이는 주어진 데이터셋 D 하에서 성능 함수 f 를 최대화하는 조건 기준 G 를 정의한다.
• DiveFace 데이터셋에 맞추어 미세조정된 딥 네ural 네트워크(ResNet-50 및 VGG-Face)를 사용하며, 이 데이터셋은 6개의 인구군집(3개의 민족, 남성/여성)에 균등하게 분포된 24,000명의 신원을 포함한다.
• 클래스 활성화 맵(CAM) 및 Grad-CAM 을 사용하여 다양한 인구군집 간 얼굴 부위에 대한 모델의 집중도를 시각화하고 분석한다.
• t-SNE 를 적용하여 고차원의 딥 임베딩을 2차원 공간으로 투영하여 민족 및 성별과 관련된 군집 패턴을 시각화한다.
• 등오차율(EER) 및 인구군집 하위군 간 상대 오차 악화를 통해 성능 격차를 정량화하여 알고리즘적 편향을 측정한다.
• 모델이 인구군집 분류를 위해 훈련되지 않았더라도, 학습된 특징 표현과 인구군집 특성 간 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 기계학습, 특히 얼굴 인식의 맥락에서 알고리즘적 차별화를 공식적으로 수식화할 수 있는가?
• RQ2 민족 및 성별과 같은 인구군집적 특성이 딥 얼굴 인식 모델이 학습하는 특징 표현에 얼마나 영향을 미치는가?
• RQ3 균형 잡힌 데이터셋에서 인기 있는 사전 훈련된 딥러닝 모델을 사용할 경우, 다양한 인구군집 간 성능은 어떻게 달라지는가?
• RQ4 얼굴 인식을 위해 훈련된 모델의 특징 공간에 민족 정보가 명시적인 지시 없이도 얼마나 깊이 내장되어 있는가?
• RQ5 최신 얼굴 인식 시스템에서 소수자 인구군집의 성능 저하 정도는 과거에 비해 얼마나 심한가?

주요 결과

• ResNet-50 모델은 그룹 1(가장 높은 대표성)에서 그룹 3(가장 낮은 대표성)보다 더 높은 활성화를 보이며, 평균 활성화 값은 각각 0.23(G1M) 및 0.12(G3M)이다.
• ResNet-50 임베딩의 t-SNE 시각화 결과, 민족과 강하게 상관관계가 있는 세 개의 명확한 군집이 존재함을 확인할 수 있었으며, 이는 모델이 민족 분류를 위해 훈련되지 않았음에도 불구하고 나타난다.
• 최고 성능을 보인 그룹(그룹 1 남성)과 최악 성능을 보인 그룹(그룹 3 여성) 간 성능 저하가 최대 200퍼센트의 상대 오차 악화에 이르렀다.
• 그룹 3 여성의 거짓 양성률은 그룹 1 남성보다 최대 200퍼센트 높게 추정되어, 소수자 그룹에서 오인식 위험이 상당히 높음을 시사한다.
• 연구는 훈련 데이터의 인구군집 편향이 모델이 인구군집 특성을 명시적으로 분류하지 않더라도 강력한 알고리즘적 차별화를 유도함을 확인한다.
• 딥 얼굴 모델의 특징 공간은 민족 정보를 상당히 포함하고 있으며, t-SNE 와 같은 간단한 시각화 기법을 통해 이를 추출할 수 있다.