[논문 리뷰] Addressing Racial Bias in Facial Emotion Recognition

Alex Fan, Xingshuo Xiao외 1명|arXiv (Cornell University)|2023. 08. 09.

Face recognition and analysisComputer Science인용 수 3

한 줄 요약

이 연구는 AffectNet 및 CAFE 데이터셋의 훈련 데이터에서 다양한 인종 조합을 시뮬레이션하여 얼굴 정서 인식(Facial Emotion Recognition, FER)에서의 인종 편향을 조사한다. 다양한 인종 비율을 가진 서브샘플 훈련 세트를 사용하여, 인종적 균형이 공정성과 성능을 향상시킨다는 것을 발견했으며, 특히 더 작은, 포즈 기반 데이터셋에서 그러한 효과가 두드러진다. 그러나 더 큰, 더 다양한 데이터셋에서는 인종적 균형만으로는 편향을 완전히 제거하지 못함을 확인하여, 구성적 균형만으로는 정렬 및 모델 추정 오류와 같은 더 깊은 원인의 편향을 해결하는 데 부족하다는 것을 시사한다.

ABSTRACT

Fairness in deep learning models trained with high-dimensional inputs and subjective labels remains a complex and understudied area. Facial emotion recognition, a domain where datasets are often racially imbalanced, can lead to models that yield disparate outcomes across racial groups. This study focuses on analyzing racial bias by sub-sampling training sets with varied racial distributions and assessing test performance across these simulations. Our findings indicate that smaller datasets with posed faces improve on both fairness and performance metrics as the simulations approach racial balance. Notably, the F1-score increases by $27.2\%$ points, and demographic parity increases by $15.7\%$ points on average across the simulations. However, in larger datasets with greater facial variation, fairness metrics generally remain constant, suggesting that racial balance by itself is insufficient to achieve parity in test performance across different racial groups.

연구 동기 및 목표

• 훈련 데이터의 인종 구성이 얼굴 정서 인식(Facial Emotion Recognition, FER) 모델의 공정성과 성능에 미치는 영향을 조사하는 것.
• 훈련 데이터에서 인종적 균형을 달성함으로써 다양한 인종 집단 간 FER 성능 격차가 완화되는지 평가하는 것.
• 데이터 구성 이외의 지속적인 편향 원인, 예를 들어 정렬 및 인종 추정 오류를 특정하는 것.
• 실제 세계의 고차원적이고 주관적인 레이블을 가진 데이터셋인 AffectNet 및 CAFE와 같은 환경에서 구성적 편향 완화의 한계를 평가하는 것.

제안 방법

• AffectNet 및 CAFE 데이터셋의 서브샘플 훈련 세트를 활용하여 다양한 인종 비율을 가진 시뮬레이션된 훈련 분포를 생성.
• 각 서브샘플 훈련 세트에서 FER 모델을 훈련하고 정확도, F1 점수, 공정성 지표(민족적 평등, 동일한 기회)를 사용해 성능을 평가.
• AffectNet 및 CAFE의 이미지에서 인종을 추정하기 위해 FairFace 모델을 사용하여 인종 기반 평가 및 시뮬레이션을 가능하게 함.
• 다양한 인종 구성이 포함된 시뮬레이션 간 모델 성능을 비교하며, 특히 인종 기반 F1 점수와 공정성 지표에 중점을 둠.
• 정렬 편향 분석을 위해 레이블러의 인구통계학적 특성과 레이블 일치율을 분석하였으며, 특히 AffectNet의 제한된 레이블러 설정에서 주목함.
• 미래의 시뮬레이션에서 정확도가 낮은 인종 그룹(예: 중동계, 남아시아계)을 제외하여 추정기 편향을 분리해내는 것을 제안함.

Figure 1: Example of the procedure for simulating East Asian representation in a dataset. This represents a contrived case where East Asian is over-represented in the training set. In actual simulations, $N$ is much larger, with our largest experiment using $N=3500$ .

실험 결과

연구 질문

• RQ1 훈련 데이터의 인종 구성이 FER 모델의 인종 기반 F1 점수와 공정성 지표에 어떤 영향을 미치는가?
• RQ2 훈련 데이터에서 인종적 균형을 달성함으로써 다양한 인종 집단 간 공정성과 성능이 얼마나 향상되는가?
• RQ3 훈련 데이터가 인종적으로 균형을 이루었음에도 불구하고 왜 공정성 지표가 최적화되지 않는가?
• RQ4 정렬 편향과 인종 추정 오류가 FER 모델에서 격차를 지속적으로 유지하는 데 어떤 역할을 하는가?

주요 결과

• 더 작은, 포즈 기반 데이터셋(CAFE)에서는 인종적 균형이 공정성을 향상시켰다: 민족적 평등 지표는 평균 15.7个百分点 상승했고, F1 점수는 27.2个百分点 상승했다.
• 더 큰, 더 다양한 데이터셋(AffectNet)에서는 인종적 균형을 달성했음에도 불구하고 공정성 지표에 미미한 향상만 보였으며, 이는 구성적 균형만으로는 부족하다는 것을 시사한다.
• '화남' 정서의 F1 점수는 동아시아계 얼굴이 과도표본화될 경우에만 향상되었으며, 이는 데이터 구성의 비균일한 영향을 보여준다.
• FairFace 모델의 인종 추정 오류가 명백히 드러났으며, 특히 중동계 및 남아시아계 개인에서 두드러져 시뮬레이션 결과에 왜곡을 초래할 수 있다.
• AffectNet의 제한된, 비다양한 레이블러로 인한 정렬 편향은 지속적인 격차의 원인이며, 일치율이 중성 정서의 50.8%에서 행복 정서의 79.6%까지 변동함을 보여주었다.
• 균형 잡힌 훈련 데이터가 있음에도 불구하고, 동일한 기회 지표와 같은 공정성 지표가 일관되게 향상되지 않았으며, 이는 알고리즘적 또는 특징 수준의 편향 등 계산되지 않은 편향이 여전히 존재함을 시사한다.

Figure 2: CAFE racial composition simulations with all test metrics. Each cell shows a varied simulated race with all non-simulated races held constant. CAFE is sampled at the participant level ( $N=5$ ). Every race shows improvement in test performance for the race-specific F1-score and demographic