[논문 리뷰] Fair SA: Sensitivity Analysis for Fairness in Face Recognition

Aparna Joshi, Xavier Suau외 3명|arXiv (Cornell University)|2022. 02. 08.

Face Recognition and Perception인용 수 4

한 줄 요약

이 논문은 시각적 심리물리학 민감도 분석(VPSA)을 확장하여 얼굴 인식 모델의 그룹 형평성 평가를 위한 새로운 프레임워크 Fair SA를 제안한다. 이미지 왜곡 상황에서의 모델의 강건성과 하위 집단별 편향을 점진적인 품질 저하(예: 운동 블러, 노출, JPEG 압축)에 따라 측정함으로써, 심지어 높은 정확도를 보이는 모델들도 실제 왜곡 상황에서는 숨겨진 불공정성이 존재함을 드러낸다. 특히 VGGFace2는 강건성은 뛰어나지만 고수준의 왜곡 상황에서는 가장 불공정한 성능을 보이며, 남성 및 밝은 피부색을 가진 하위 집단에 특히 불리하다.

ABSTRACT

As the use of deep learning in high impact domains becomes ubiquitous, it is increasingly important to assess the resilience of models. One such high impact domain is that of face recognition, with real world applications involving images affected by various degradations, such as motion blur or high exposure. Moreover, images captured across different attributes, such as gender and race, can also challenge the robustness of a face recognition algorithm. While traditional summary statistics suggest that the aggregate performance of face recognition models has continued to improve, these metrics do not directly measure the robustness or fairness of the models. Visual Psychophysics Sensitivity Analysis (VPSA) [1] provides a way to pinpoint the individual causes of failure by way of introducing incremental perturbations in the data. However, perturbations may affect subgroups differently. In this paper, we propose a new fairness evaluation based on robustness in the form of a generic framework that extends VPSA. With this framework, we can analyze the ability of a model to perform fairly for different subgroups of a population affected by perturbations, and pinpoint the exact failure modes for a subgroup by measuring targeted robustness. With the increasing focus on the fairness of models, we use face recognition as an example application of our framework and propose to compactly visualize the fairness analysis of a model via AUC matrices. We analyze the performance of common face recognition models and empirically show that certain subgroups are at a disadvantage when images are perturbed, thereby uncovering trends that were not visible using the model's performance on subgroups without perturbations.

연구 동기 및 목표

• 운동 블러, 노출, 노이즈 등의 실제 왜곡 상황에서 얼굴 인식 모델의 형평성 평가에 대한 격차를 해소하기 위해.
• 기존의 요약 통계치를 넘어서 모델의 강건성과 하위 집단 형평성을 동시에 측정하는 프레임워크를 개발하기 위해.
• AUC 행렬을 사용하여 왜곡 상황에서 하위 집단별 편향을 시각화함으로써 모델 형평성에 대한 실질적인 통찰을 제공하기 위해.
• 특정 인구 통계적 하위 집단(예: 젊은 사람, 남성, 밝은 피부색)이 왜곡 상황에서 체계적으로 유리하거나 불리하게 대응하는 실패 모드를 규명하기 위해.

제안 방법

• 보호되는 특성(예: 성별, 인종, 얼굴 특징)에 따라 하위 집단 인식 기반의 왜곡 분석을 도입하여 VPSA를 확장함으로써, 점진적인 이미지 왜곡 상황에서의 모델 성능을 측정한다.
• 시험 이미지에 대해 제어된 왜곡(예: 운동 블러, 채도 이동, 노출 변화, JPEG 압축)을 적용한다.
• 각 하위 집단에 대해 모델 성능(예: 확인 정확도)을 왜곡 수준에 따라 플로팅하는 Fair SA 곡선을 계산하여 편향 경향을 시각화한다.
• 다양한 특성과 왜곡 유형에 걸쳐 형평성을 압축적으로 표현하기 위해 AUC 행렬을 사용하며, L1 노름을 통해 각 모델의 총합 형평성을 요약한다.
• AUC 행렬의 행 및 열 방향으로 마진화를 수행하여 형평성에 가장 큰 영향을 미치는 특성과 왜곡을 식별한다.
• 신원에 무관한 조건과 신원에 특정된 조건에서 각각의 형평성 평가를 위해 자기 매칭 및 확인 작업을 활용한다.

실험 결과

연구 질문

• RQ1 일반적인 얼굴 인식 모델들이 보편적인 인구 통계 하위 집단에 대해 형평성 평가를 받을 때, 점진적인 이미지 왜곡 상황에서 어떻게 성능을 발휘하는가?
• RQ2 특정 유형의 이미지 왜곡 상황에서 어떤 인구 통계 하위 집단이 체계적으로 유리하거나 불리하게 대응하는가?
• RQ3 VPSA로 측정된 모델의 강건성과 왜곡 상황에서의 형평성 간 상관관계는 어느 정도인가?
• RQ4 왜곡 상황에서의 형평성을 효과적으로 시각화하고 요약하여 모델 평가 및 디버깅에 활용할 수 있는가?
• RQ5 Fair SA는 표준 정확도 지표에서는 드러나지 않지만 실제 왜곡 상황에서 나타나는 숨겨진 편향을 탐지할 수 있는가?

주요 결과

• 청결한 벤치마크에서 99%의 정확도를 보이는 모델들 역시 왜곡 상황에서는 하위 집단 편향이 심각하게 나타나며, 운동 블러 상황에서 젊은 사람을 유리하게 대응하는 경향이 있다.
• VGGFace2는 VPSA 기준으로 가장 강건한 성능을 보이지만, 고수준 왜곡 상황에서는 가장 불공정한 성능을 보이며, 특히 노출 및 채도 변화 상황에서 남성 및 밝은 피부색 하위 집단에 불리하다.
• FaceNet은 운동 블러 상황에서 비단조화로운 형평성 경향을 보이며, 초기에는 편향이 증가하다가 고수준의 블러 수준에서 감소하는 경향이 있는데, 이는 고수준의 블러에서 성능 저하가 발생하기 때문일 수 있다.
• 부각된 얼굴 특징(예: 뚜렷한 주름 또는 얼굴 털)을 가진 하위 집단(예: 노령자)에 대해 블러나 압축과 같은 왜곡이 가장 심각하게 영향을 미친다.
• 점토 노이즈, 운동 블러, 채도 이동은 AUC 행렬의 열 방향 L1 노름이 높아 보여 모든 모델에 대해 형평성에 가장 해로운 왜곡으로 나타났다.
• AUC 행렬은 표준 정확도 지표로는 탐지되지 않는 숨겨진 형평성 경향을 효과적으로 드러내며, 예를 들어 고노출 상황에서는 검은 머리카락을 유리하게 대응하고, JPEG 압축 상황에서는 두꺼운 메이크업을 유리하게 대응하는 경향이 있음을 보여준다.