[논문 리뷰] Distill and De-bias: Mitigating Bias in Face Verification using Knowledge Distillation

Prithviraj Dhar, Joshua Gleason외 4명|arXiv (Cornell University)|2021. 12. 17.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 얼굴 인식에서 성별 및 피부색 조건에 대한 편향을 줄이기 위해 지식 정련 기반의 새로운 방법인 Distill and De-bias (D&D) 및 D&D++를 제안한다. 한 측면에서 성별 또는 피부색 조건(예: 밝은 피부색)에 대해 훈련된 교사 네트워크의 주의 패턴을 다른 조건(예: 어두운 피부색)에 대해 훈련된 학생 네트워크로 이전함으로써 D&D는 다양한 민족적 군집 간에 일관된 공간적 주의를 강제하여 편향을 크게 감소시키고, IJB-C에서 적대적 기반 방법을 초월하는 정확도 향상을 이룬다.

ABSTRACT

Face recognition networks generally demonstrate bias with respect to sensitive attributes like gender, skintone etc. For gender and skintone, we observe that the regions of the face that a network attends to vary by the category of an attribute. This might contribute to bias. Building on this intuition, we propose a novel distillation-based approach called Distill and De-bias (D&D) to enforce a network to attend to similar face regions, irrespective of the attribute category. In D&D, we train a teacher network on images from one category of an attribute; e.g. light skintone. Then distilling information from the teacher, we train a student network on images of the remaining category; e.g., dark skintone. A feature-level distillation loss constrains the student network to generate teacher-like representations. This allows the student network to attend to similar face regions for all attribute categories and enables it to reduce bias. We also propose a second distillation step on top of D&D, called D&D++. Here, we distill the `un-biasedness' of the D&D network into a new student network, the D&D++ network, while training this new network on all attribute categories; e.g., both light and dark skintones. This helps us train a network that is less biased for an attribute, while obtaining higher face verification performance than D&D. We show that D&D++ outperforms existing baselines in reducing gender and skintone bias on the IJB-C dataset, while obtaining higher face verification performance than existing adversarial de-biasing methods. We evaluate the effectiveness of our proposed methods on two state-of-the-art face recognition networks: ArcFace and Crystalface.

연구 동기 및 목표

• 성별 및 피부색과 같은 민감한 속성과 관련된 얼굴 인식 네트워크의 편향을 해결하기 위해.
• 민감한 군집 간 주의 영역의 차이가 편향에 기여하는지 조사하기 위해.
• 민감한 속성 카테고리 간에 일관된 주의를 강제하는 비적대적, 정련 기반 방법을 개발하기 위해.
• 특히 적대적 제거 편향 기법과 비교할 때 편향을 줄이고 얼굴 인식 성능을 향상시키기 위해.
• ArcFace 및 Crystalface와 같은 다양한 얼굴 인식 모델에 대해 일반화되는 것을 보장하기 위해.

제안 방법

• 민감한 속성의 한 카테고리(예: 밝은 피부색)에서 이미지를 사용해 훈련된 교사 네트워크를 구축하여 대표적인 주의 패턴을 학습하기 위해.
• 특징 수준의 지식 정련을 사용해 교사 네트워크의 주의 패턴을 다른 카테고리(예: 어두운 피부색)에서 훈련된 학생 네트워크로 이전함으로써 학생 네트워크가 유사한 얼굴 영역에 주의를 기울이도록 제약을 둠.
• D&D++는 D&D 네트워크의 '편향이 없는' 행동을 새로운 학생 네트워크에 정련함으로써, 모든 속성 카테고리에서 훈련된 네트워크에 대해 공정성을 유지하면서 성능을 향상시킴.
• GradCAM을 사용해 D&D 및 D&D++ 적용 후 민족적 군집 간 주의 맵이 얼마나 일관성 있게 되었는지 시각화하고 검증함.
• ArcFace 및 Crystalface를 백본 네트워크로 사용해 IJB-C 데이터셋에서 훈련 및 평가함.
• D&D 및 D&D++를 적대적 제거 편향 기법(예: PASS, IVE) 및 균형 잡힌 훈련 기반 방법과 비교함.

실험 결과

연구 질문

• RQ1 얼굴 인식 네트워크의 주의가 성별 및 피부색 카테고리 간에 유의미하게 다를 뿐만 아니라 편향에 기여하는가?
• RQ2 지식 정련을 활용해 민족적 군집 간 주의 패턴을 일치시켜 편향을 줄일 수 있는가?
• RQ3 두 단계 정련 과정(D&D 이후 D&D++)이 동시에 편향을 줄이고 얼굴 인식 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 다양한 얼굴 인식 모델과 민감한 속성에 대해 일반화되는가?
• RQ5 D&D++는 공정성 및 인식 성능 측면에서 적대적 제거 편향 기법과 비교해 어떻게 성과를 내는가?

주요 결과

• GradCAM 시각화를 통해 D&D는 민족적 군집 간 주의 맵을 일치시킴으로써 ArcFace 및 Crystalface 네트워크에서 성별 및 피부색 편향을 감소시킴을 확인함.
• D&D++는 IJB-C 데이터셋에서 최신 적대적 제거 편향 기법을 초월해 더 높은 얼굴 인식 성능을 달성하면서도 낮은 편향을 유지함.
• 적대적 훈련이나 백본 네트워크 아키텍처의 수정 없이도 편향을 크게 감소시킴.
• 특징 수준의 정련이 효과적으로 주의 패턴을 이전하여 다양한 피부색 및 성별 카테고리 간에 일관된 얼굴 처리를 가능하게 함.
• 이 방법은 다양한 얼굴 인식 모델과 민감한 속성(성별 및 피부색 포함)에 대해 일반화됨.
• D&D++는 공정성과 정확도의 상호보완적 관계에서 균형을 이루는 데서 균형 잡힌 훈련 기반 방법과 GAC, IVE와 같은 비적대적 방법보다 뛰어난 성능을 보임.