[논문 리뷰] Responsible AI: Gender bias assessment in emotion recognition

Artem Domnich, Gholamreza Anbarjafari|arXiv (Cornell University)|2021. 03. 21.

Face recognition and analysis참고 문헌 110인용 수 10

한 줄 요약

이 연구는 SASE-FE 데이터셋을 기반으로 훈련된 여섯 개인 신경망을 사용하여 딥러닝 모델에서 성별 편향을 평가한다. ResNet50과 같은 모델은 Upset 및 Sad와 같은 감정을 인식하는 데 있어 뚜렷한 성별 편향을 보이며, 반면 SENetLSTM와 같은 아키텍처는 남성 및 여성 테스트 세트 간에 더 높은 공정성을 보여주어 성별에 따른 인식 정확도 및 참 양성/참 음성 비율의 격차를 드러낸다.

ABSTRACT

Rapid development of artificial intelligence (AI) systems amplify many concerns in society. These AI algorithms inherit different biases from humans due to mysterious operational flow and because of that it is becoming adverse in usage. As a result, researchers have started to address the issue by investigating deeper in the direction towards Responsible and Explainable AI. Among variety of applications of AI, facial expression recognition might not be the most important one, yet is considered as a valuable part of human-AI interaction. Evolution of facial expression recognition from the feature based methods to deep learning drastically improve quality of such algorithms. This research work aims to study a gender bias in deep learning methods for facial expression recognition by investigating six distinct neural networks, training them, and further analysed on the presence of bias, according to the three definition of fairness. The main outcomes show which models are gender biased, which are not and how gender of subject affects its emotion recognition. More biased neural networks show bigger accuracy gap in emotion recognition between male and female test sets. Furthermore, this trend keeps for true positive and false positive rates. In addition, due to the nature of the research, we can observe which types of emotions are better classified for men and which for women. Since the topic of biases in facial expression recognition is not well studied, a spectrum of continuation of this research is truly extensive, and may comprise detail analysis of state-of-the-art methods, as well as targeting other biases.

연구 동기 및 목표

• 책임 있는 AI의 프레임워크 내에서 딥러닝 기반 얼굴 감정 인식(FER) 시스템의 성별 편향을 조사하기 위해.
• 훈련 데이터 구성(남성 전용, 여성 전용, 혼합)이 성별 간 모델의 공정성과 성능에 미치는 영향을 평가하기 위해.
• 다양한 공정성 정의를 사용하여 감정 분류에서 가장 공정하고 가장 편향된 신경망 아키텍처를 특정하기 위해.
• 진정 양성률 및 참 음성률을 포함한 성별 특화된 감정 인식 정확도의 차이를 분석하기 위해.
• 감정 간 핵심 편향과 모델 행동을 규명하여 향후 FER의 공정성에 관한 연구의 기초를 마련하기 위해.

제안 방법

• SASE-FE 데이터셋을 기반으로 3D-CNN, ResNet, VGGFACE, SENetLSTM를 포함한 여섯 가지 다른 딥 네트워크 아키텍처를 훈련하여 얼굴 감정 인식을 수행하였다.
• 남성 및 여성 테스트 세트 간 성별 특화 성능 평가를 위해 전체 테스트 세트, 남성 대상, 여성 대상의 세 가지 데이터 분할 방식을 사용하였다.
• 남성 및 여성 테스트 세트 간 편향을 평가하기 위해 Equal Opportunity, Equal Odds, Demographic Parity의 세 가지 공정성 정의를 적용하였다.
• 정확도, 진정 양성률(TPR), 참 음성률(FPR)을 성능 지표로 사용하여 남성 및 여성 테스트 세트 간 결과를 비교하였다.
• 모델를 재학습하고 사전 훈련된 가중치를 사용하여 편향과 공정성에 미치는 영향을 평가하기 위해 분석 실험(ablation studies)를 수행하였다.
• 특정 감정에 대한 성능을 분석하여 남성과 여성에 대해 더 정확하게 인식되는 감정을 특정하였다.

실험 결과

연구 질문

• RQ1 얼굴 감정 인식을 위한 어떤 딥러닝 아키텍처가 공정성 정의에 따라 가장 높은 성별 편향을 보이는가?
• RQ2 훈련 데이터 구성(남성 전용 대비 여성 전용 대비 혼합)이 성별 간 모델의 공정성과 성능에 어떻게 영향을 미치는가?
• RQ3 특정 감정이 한 성별에 대해 다른 성별보다 체계적으로 더 잘못 분류되는가?
• RQ4 공정성 지표(Equal Opportunity, Equal Odds, Demographic Parity)는 남성 및 여성 테스트 세트 간 관측된 정확도 격차와 어느 정도 상관관계가 있는가?
• RQ5 다양한 모델에서 남성 및 여성 대상 간 진정 양성률 및 참 음성률은 어떻게 다른가?

주요 결과

• ResNet50는 Equal Opportunity 및 Equal Odds 기준으로 가장 높은 성별 편향을 보였으며, 남성 및 여성 테스트 세트 간 정확도 격차가 뚜렷했다.
• ResNet3D와 VGGFACE는 Demographic Parity 기준에서 두 번째로 높은 편향을 보였으며, 성별 간 예측 공정성의 격차가 뚜렷했다.
• SENetLSTM는 모든 세 가지 공정성 정의에서 가장 공정한 아키텍처로 나타났으며, 남성 및 여성 테스트 세트 간 성능 격차가 최소였다.
• Upset는 전체적으로 가장 잘못 분류된 감정이었으며, 정확도가 가장 낮았고, 특히 남성 대상에서 그러한 경향이 두드러졌다. 반면, Happy는 항상 가장 정확하게 인식된 감정이었다.
• 여성 데이터로만 훈련된 모델는 남성 테스트 세트에 대해 여성 테스트 세트보다 더 높은 정확도를 보였으며, 예상치 못한 데이터 일반화 효과를 보였다.
• 남성 데이터로만 훈련된 모델는 여성 테스트 세트에서 성능 변동성이 더 높았으며, 이는 반대 성별로 일반화할 때의 불안정성과 낮은 내구성을 시사했다.