[논문 리뷰] Towards affective computing that works for everyone

Tessa Verhoef, Eduard Fosch‐Villaronga|arXiv (Cornell University)|2023. 09. 19.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 정서 계산 데이터셋의 다양성 부족을 비판하며, 인종, 성별/성, 연령 및 정신건강 상태의 부족한 표현을 지적하며, 이는 알고리즘의 공정성과 정확성을 떨어뜨린다고 설명한다. 정서 계산 시스템이 모든 집단에서 공정하게 작동할 수 있도록 포용적인 표본 추출 전략과 표준화된 인구통계 기록을 제안한다.

ABSTRACT

Missing diversity, equity, and inclusion elements in affective computing datasets directly affect the accuracy and fairness of emotion recognition algorithms across different groups. A literature review reveals how affective computing systems may work differently for different groups due to, for instance, mental health conditions impacting facial expressions and speech or age-related changes in facial appearance and health. Our work analyzes existing affective computing datasets and highlights a disconcerting lack of diversity in current affective computing datasets regarding race, sex/gender, age, and (mental) health representation. By emphasizing the need for more inclusive sampling strategies and standardized documentation of demographic factors in datasets, this paper provides recommendations and calls for greater attention to inclusivity and consideration of societal consequences in affective computing research to promote ethical and accurate outcomes in this emerging field.

연구 동기 및 목표

• 정서 계산 데이터셋에서의 표현 부족 문제, 특히 인종, 성별/성, 연령 및 정신건강 상태에 초점을 맞춘다.
• 부족한 표현이 다양한 인구 집단 간 정서 인식의 편향성과 정확도 저하로 이어지는 방식을 설명한다.
• 알고리즘의 공정성과 투명성을 높이기 위해 데이터셋 내 인구통계 변수의 표준화된 기록을 촉구한다.
• 배제된 시스템의 사회적 영향을 강조함으로써 정서 계산 연구의 윤리적 고려사항을 제시한다.
• 모든 사용자가 공정하게 이용할 수 있도록 정서 계산 기술이 포용적으로 기능할 수 있도록 포용적 표본 추출 전략을 홍보한다.

제안 방법

• 정신건강 및 연령이 얼굴 표정과 발화에 미치는 영향를 파악하기 위해 문헌 리뷰를 수행한다.
• 기존 정서 계산 데이터셋을 분석하여 인종, 성별/성, 연령 및 (정신)건강 상태에서의 표현 격차를 평가한다.
• 현재 데이터셋 기록 관행을 검토하여 인구통계 메타데이터의 일관성 부족과 누락 사항을 식별한다.
• 다양하고 대표적인 참가자 표본을 중심으로 한 포용적 데이터셋 수집 지침을 제안한다.
• 정서 계산 연구의 공정성과 재현 가능성을 지원하기 위해 인구통계 변수의 표준화된 기록을 권장한다.
• 소외된 집단에 대한 정서 계산 시스템의 사회적 영향을 고려한 윤리적 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 정서 계산 데이터셋에서의 부족한 표현과 다양성 부족은 정서 인식 알고리즘의 공정성과 정확성에 어떤 영향을 미치는가?
• RQ2 정신건강 상태와 연령에 따른 얼굴 표정 변화는 어떻게 영향을 미치며, 이러한 요소들은 현재 데이터셋에서 어떻게 다루어지고 있는가?
• RQ3 기존 정서 계산 데이터셋에서 인종, 성별/성, 연령과 같은 인구통계 변수가 체계적으로 기록되어 있는 정도는 어느 정도인가?
• RQ4 다양한 인구 집단에서 균형 잡힌 성능을 보장하기 위해 정서 계산 데이터셋의 포용성을 향상시킬 수 있는 전략은 무엇인가?
• RQ5 정서 계산 연구에서 소외된 집단에 해를 끼치지 않도록 방지하기 위해 통합되어야 할 윤리적 고려사항은 무엇인가?

주요 결과

• 기존 정서 계산 데이터셋은 인종, 성별, 연령 및 정신건강 다양성을 둔한 집단의 표현이 현저히 부족하다.
• 데이터셋 내 표준화된 인구통계 기록 부족은 알고리즘의 공정성과 편향성 평가를 어렵게 한다.
• 정신건강 상태와 연령에 따른 얼굴 외형 변화는 정서 표현 방식을 변화시킬 수 있으나, 이러한 요소는 거의 데이터셋에 반영되지 않는다.
• 편향된 학습 데이터로 인해 현재 정서 계산 시스템은 표현이 부족한 집단에서 성능이 떨어지거나 불공정하게 작동할 수 있다.
• 포용적 표본 추출 전략 부재로 인해 정서 계산 응용의 일반화 가능성과 윤리적 타당성이 제한된다.
• 정서 인식 시스템에서 공정한 결과를 보장하기 위해 표준화되고 투명하며 다양한 데이터셋 셀렉션 관행이 절실하게 필요하다.