[논문 리뷰] Deep Learning for Face Recognition: Pride or Prejudiced?

Shruti Nagpal, Maneet Singh외 2명|arXiv (Cornell University)|2019. 04. 02.

Face recognition and analysis참고 문헌 33인용 수 39

한 줄 요약

이 논문은 state-of-the-art 딥 러닝 얼굴 인식 모델이 own-race 및 own-age 편향을 인코딩하는지 분석하고, 네 개의 네트워크와 36 실험들에서 편향이 어디에서 어떻게 나타나는지 살펴봅니다.

ABSTRACT

Do very high accuracies of deep networks suggest pride of effective AI or are deep networks prejudiced? Do they suffer from in-group biases (own-race-bias and own-age-bias), and mimic the human behavior? Is in-group specific information being encoded sub-consciously by the deep networks? This research attempts to answer these questions and presents an in-depth analysis of `bias' in deep learning based face recognition systems. This is the first work which decodes if and where bias is encoded for face recognition. Taking cues from cognitive studies, we inspect if deep networks are also affected by social in- and out-group effect. Networks are analyzed for own-race and own-age bias, both of which have been well established in human beings. The sub-conscious behavior of face recognition models is examined to understand if they encode race or age specific features for face recognition. Analysis is performed based on 36 experiments conducted on multiple datasets. Four deep learning networks either trained from scratch or pre-trained on over 10M images are used. Variations across class activation maps and feature visualizations provide novel insights into the functioning of deep learning systems, suggesting behavior similar to humans. It is our belief that a better understanding of state-of-the-art deep learning networks would enable researchers to address the given challenge of bias in AI, and develop fairer systems.

연구 동기 및 목표

• 딥 러닝 얼굴 인식이 인종 특이 정보(own-race bias)와 연령 특이 정보(own-age bias)를 인코딩하는지 평가합니다.
• 네트워크가 서로 다른 하위 그룹에서 의존하는 얼굴 부위를 식별하고 데이터 분포가 편향에 미치는 영향을 파악합니다.
• 사전 학습(pre-training)과 미세 조정(fine-tuning)이 편향 및 관심 영역 패턴에 미치는 영향을 조사합니다.
• 편향 제거 및 더 공정한 얼굴 인식 AI를 안내할 통찰력을 제공합니다.

제안 방법

• LightCNN-9, LightCNN-29, ResNet50, SENet50으로 네 가지 딥 러닝 얼굴 인식 네트워크를 처음부터 학습하거나 대규모 데이터셋에서 사전 학습시킵니다.
• CPP(클래스 활성화 맵) 및 특징 시각화를 사용하여 하위 그룹 간 판별적 얼굴 부위를 식별합니다.
• Race-A 대 Race-B 및 연령 그룹(0–14, 15–32, 33+) 간의 훈련/테스트 분리가 비격합 제어 실험 36개를 수행합니다.
• 검증 정확도 1% FAR(Genuine Acceptance Rate)에서 인종 및 연령 기반 하위 그룹에 대한 성능을 비교합니다.
• 처음부터 학습, 대규모 데이터셋에서의 사전 학습, 하위 그룹 간 일반화 테스트, 그리고 관심 영역의 미세 조정이 지역-관심(ROI) 이동에 미치는 영향을 검토합니다.

실험 결과

연구 질문

• RQ1 딥 러닝 얼굴 인식이 인종 특이 정보를 인코딩하여 own-race bias로 이어지는가?
• RQ2 딥 러닝이 연령 특이 정보를 인코딩하여 own-age bias로 이어지는가?
• RQ3 다른 인종이나 연령 그룹에서 개인 인식을 위해 네트워크가 의존하는 얼굴 부위는 어디인가?
• RQ4 사전 학습 및 미세 조정이 하위 그룹 간 편향 및 관심 영역 집중에 어떤 영향을 미치는가?

주요 결과

• 단일 인종으로 학습된 네트워크는 다른 인종으로의 일반화가 저조하여 학습된 특징에 자기 인종 선입견이 있음을 시사합니다.
• 사전 학습된 네트워크는 인종 편향적 성능을 보이며 비제한 데이터에서도 Race-A가 Race-B보다 높은 정확도를 보입니다.
• CAM 분석에서 인종 특이적 관심 영역이 나타나 모델이 인종 정보를 무의식적으로 인코딩하고 있음을 뒷받침합니다.
• 가장 어린 연령대(0–14)에 대해 인식 성능이 저하되는 own-age 편향이 네트워크 전반에서 관찰되며, 사전 학습은 도움이 되지만 이를 완전히 완화하지는 못합니다.
• 미세 조정은 관심 영역을 하위 그룹 특유의 얼굴 영역에 집중시키고 일반화 가능성을 감소시키는 경우가 있습니다.
• 대규모 사전 학습은 전반적인 정확도를 높이지만 하위 그룹 편향을 제거하지 못하며 데이터 분포가 핵심 요인임을 강조합니다.