[논문 리뷰] Gender and Emotion Recognition with Implicit User Signals

Maneesh Bilalpur, Seyed Mostafa Kia외 3명|arXiv (Cornell University)|2017. 08. 29.

Emotion and Mood Recognition참고 문헌 30인용 수 4

한 줄 요약

이 연구는 저비용, 일반 소비자용 장치를 통해 수집한 암시적 행동 신호—뇌파 활동(EEG)과 눈동자 움직임—을 이용한 익명의 성별 및 정서 인식 프레임워크를 제안한다. 연구는 특히 분노와 혐오 정서에 대해 약 70%의 정확도로 성별을 인식할 수 있음을 입증하였으며, 암시적 신호가 명시적 정서 반응과 강하게 상관관계를 가지므로 상호작용 시스템에서 개인정보 보호 기준을 충족하는 사용자 프로파일링이 가능하다는 것을 보여준다.

ABSTRACT

We examine the utility of implicit user behavioral signals captured using low-cost, off-the-shelf devices for anonymous gender and emotion recognition. A user study designed to examine male and female sensitivity to facial emotions confirms that females recognize (especially negative) emotions quicker and more accurately than men, mirroring prior findings. Implicit viewer responses in the form of EEG brain signals and eye movements are then examined for existence of (a) emotion and gender-specific patterns from event-related potentials (ERPs) and fixation distributions and (b) emotion and gender discriminability. Experiments reveal that (i) Gender and emotion-specific differences are observable from ERPs, (ii) multiple similarities exist between explicit responses gathered from users and their implicit behavioral signals, and (iii) Significantly above-chance ($\approx$70%) gender recognition is achievable on comparing emotion-specific EEG responses-- gender differences are encoded best for anger and disgust. Also, fairly modest valence (positive vs negative emotion) recognition is achieved with EEG and eye-based features.

연구 동기 및 목표

• 암시적 사용자 신호—특히 EEG와 눈동자 움직임—이 개인정보를 훼손하지 않으면서도 익명의 성별 및 정서 인식을 가능하게 하는지 조사하기.
• 명시적 반응 시간과 정확도를 비교함으로써 성별 간 정서 처리의 차이를 분석하기.
• 저비용, 웨어러블, 일반 소비자용 장치(Emotiv EEG, EyeTribe 눈동자 추적기)가 대규모이고 생태학적으로 타당한 사용자 프로파일링에 적합한지 평가하기.
• 사건 관련 전위(ERPs)와 정지 분포의 정서 및 성별 특이 패턴이 신뢰성 있게 탐지되고 분류에 사용될 수 있는지 확인하기.
• 암시적 신호를 활용한 적응형 시스템의 실용적 응용 탐색—개인 맞춤 광고, 추천 엔진, 정신 건강 모니터링 등

제안 방법

• 28명의 참가자(남성 14명)를 대상으로 명시적 얼굴 정서 인식 성능을 평가하기 위한 사용자 연구를 수행하였으며, 6가지 기본 정서에 대한 반응 시간과 정확도에 중점을 두었다.
• 정서 인식 작업 동안 Emotiv EEG 헤드셋(14전극)과 EyeTribe 눈동자 추적기를 사용하여 암시적 행동 신호를 수집하였다.
• 특히 전두엽 및 전 frontal 피질 영역에서 성별 및 정서 특이 신경 패턴을 식별하기 위해 사전 관련 전위(ERPs)를 분석하였다.
• 정서 처리 중 시각적 주의의 차이를 탐지하기 위해 정지 분포와 시선 패턴을 분석하였다.
• EEG 특징, 눈동자 추적 특징, 그리고 이들의 조기 융합을 사용하여 성별 인식(GR)과 정서의 밸런스 기반 인식(ER)을 수행하였으며, 주요 평가 지표로 AUC를 사용하였다.
• 신호 전처리 기법으로 ICA와 시각적 아티팩트 제거를 적용하였고, 교차 검증을 통한 머신러닝 기반 분류를 수행하였다.

실험 결과

연구 질문

• RQ1 EEG와 눈동자 움직임과 같은 암시적 행동 신호가 얼굴 정서 인식에서 성별 차이를 신뢰성 있게 반영할 수 있는가?
• RQ2 정서 인식 작업 중 남성과 여성 간 정서 특이 ERP 진폭과 정지 패턴에 유의미한 차이가 존재하는가?
• RQ3 특정 정서를 고려할 때, EEG와 눈동자 추적 신호만으로 성별을 얼마나 정확히 인식할 수 있는가?
• RQ4 암시적 반응(EWG와 눈동자 움직임)이 명시적 사용자 반응(반응 속도 및 정확도)과 얼마나 상관관계가 있는가?
• RQ5 저비용, 일반 소비자용 장치가 실생활 상호작용 시스템에서 의미 있는 성별 및 정서 인식을 가능하게 할 정도로 충분한 신호 품질을 확보할 수 있는가?

주요 결과

• 여성은 분노와 혐오 정서를 포함한 부정적 얼굴 정서를 남성보다 유의미하게 빠르고 정확하게 인식하는 것으로 나타나 이전 연구 결과를 확인하였다.
• 특히 부정적 정서를 처리할 때 여성에서 전두엽 및 전 frontal 피질 영역에서 더 강한 사전 관련 전위(ERP) 진폭이 관찰되었다.
• EEG를 이용한 성별 인식은 최고 AUC 0.71을 기록하였으며, 분노와 혐오 자극에서 가장 높은 성능을 보였고, 이는 성별 차이의 정서 특이적 인코딩을 시사한다.
• 눈동자 추적 특징을 이용한 성별 인식은 최고 AUC 0.63을 기록하였고, EEG와의 융합은 최고 AUC 0.62를 기록하여 상호보완적인 정보를 제공함을 보였다.
• 눈동자 추적 특징을 사용한 밸런스 인식(긍정 대 비정상)은 최고 AUC 0.64를 기록하여 정서의 밸런스에 대한 중간 정도의 분류 가능성을 시사하였다.
• 명시적 사용자 반응(반응 시간, 정확도)과 암시적 행동 신호(EWG, 시선) 간에 유의미한 상관관계가 발견되어, 암시적 측정의 생태학적 타당성이 검증되었다.