[논문 리뷰] Emotion Recognition Through Observer's Physiological Signals

Yang Liu, Tom Gedeon외 3명|arXiv (Cornell University)|2020. 02. 19.

EEG and Brain-Computer Interfaces참고 문헌 11인용 수 4

한 줄 요약

이 논문은 AFEW에서 유도된 정서 자극 영상 클립을 시청한 24명의 관찰자로부터의 생리 신호 수집인 PAFEW 데이터셋을 소개한다. 특히 정서 인식을 위한 전도성 활성도(EDA)에 초점을 맞추고 있다. 삼층 신경망 기반 모델을 사용하여 단일 참가자 데이터에서 42.08%의 정확도를 달성하였으며, 정서의 정서적 평가(Valence) 정보를 통합한 이중 단계 네트워크를 통해 정확도가 4.9% 향상되었다. 이는 이 데이터셋에서 정서 분류에 있어 정서적 평가가 각성도보다 더 효과적인 보조 신호임을 보여준다.

ABSTRACT

Emotion recognition based on physiological signals is a hot topic and has a wide range of applications, like safe driving, health care and creating a secure society. This paper introduces a physiological dataset PAFEW, which is obtained using movie clips from the Acted Facial Expressions in the Wild (AFEW) dataset as stimuli. To establish a baseline, we use the electrodermal activity (EDA) signals in this dataset and extract 6 features from each signal series corresponding to each movie clip to recognize 7 emotions, i.e., Anger, Disgust, Fear, Happy, Surprise, Sad and Neutral. Overall, 24 observers participated in our collection of the training set, including 19 observers who participated in only one session watching 80 videos from 7 classes and 5 observers who participated multiple times and watched all the videos. All videos were presented in an order balanced fashion. Leave-one-observer-out was employed in this classification task. We report the classification accuracy of our baseline, a three-layer network, on this initial training set while training with signals from all participants, only single participants and only multiple participants. We also investigate the recognition accuracy of grouping the dataset by arousal or valence, which achieves 68.66% and 72.72% separately. Finally, we provide a two-step network. The first step is to classify the features into high/low arousal or positive/negative valence by a network. Then the arousal/valence middle output of the first step is concatenated with feature sets as input of the second step for emotion recognition. We found that adding arousal or valence information can help to improve the classification accuracy. In addition, the information of positive/negative valence boosts the classification accuracy to a higher degree on this dataset.

연구 동기 및 목표

• 실제 자극을 사용한 정서 인식을 위한 대규모 생리적 데이터셋을 개발하기 위해.
• 다수의 관찰자로부터의 EDA 신호를 사용한 정서 분류에 대한 기준 성능을 설정하기 위해.
• 각성도 또는 정서적 평가 정보가 생리 기반 정서 인식의 정확도 향상에 기여하는지 조사하기 위해.
• 각성도/정서적 평가를 중간 예측으로 포함하는 이중 단계 신경망 아키텍처의 효과성을 평가하기 위해.

제안 방법

• PAFEW 데이터셋은 AFEW 데이터셋의 80개의 영상 클립을 24명의 관찰자가 시청하는 동안 E4 손목밴드와 Eye Tribe 눈운동 추적기로 수집되었다.
• 각 영상 클립에 대응하는 EDA 신호 시리즈에서 6개의 특징을 추출하여 생리적 반응을 표현하였다.
• 화가, 혐오, 두려움, 기쁨, 놀람, 슬픔, 중립의 일곱 가지 정서를 분류하기 위해 삼층 피드포워드 신경망을 기준 모델로 사용하였다.
• 참가자 간의 일반화를 확보하기 위해 이-minded 관찰자 제외 교차 검증을 적용하였다.
• 이중 단계 네트워크를 설계하였으며, 첫 번째 단계는 각성도(고/저) 또는 정서적 평가(긍정/부정)를 분류하고, 두 번째 단계는 중간 출력 결과를 원래 특징과 연결하여 최종 정서 분류를 수행한다.
• 손실 함수는 각성도/정서적 평가 및 정서 분류 작업을 모두 통합하여 공통 초모수를 사용한 엔드 투 엔드 학습이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 영화 클립을 통한 자극으로 유도된 생리 신호, 특히 EDA를 사용하여 일곱 가지 기본 정서를 신뢰성 있게 분류할 수 있는가?
• RQ2 각성도 또는 정서적 평가를 중간 분류 작업으로 통합할 경우, EDA에서의 정서 인식 신경망 성능이 향상되는가?
• RQ3 이 데이터셋에서 정서 분류 정확도 향상에 있어 정서적 평가가 각성도보다 더 유용한 보조 신호인가?
• RQ4 단일 참가자 데이터와 다수 참가자 데이터에서 모델 성능은 어떻게 달라지는가?

주요 결과

• 기준 삼층 신경망은 PAFEW 데이터셋의 단일 참가자 서브셋에서 42.08%의 분류 정확도를 달성하였다.
• 각성도(고/저)로 정서를 분류한 결과 정확도가 68.66%였으며, 이는 무작위 추측(52.03%)보다 유의미하게 높았다.
• 정서적 평가(긍정/부정)로 정서를 분류한 결과 정확도가 72.72%였으며, 이는 무작위 추측(50.62%)보다 22.10% 높았다.
• 정서적 평가 정보를 보조 작업으로 통합한 이중 단계 네트워크는 기준 모델 대비 정확도를 4.9% 향상시켰다.
• 정서적 평가 정보를 추가했을 때의 성능 향상 폭이 각성도 정보를 추가했을 때보다 더 높았으며, 이는 이 데이터셋에서 정서적 평가가 더 효과적인 인덕티브 바이어스임을 시사한다.
• 단일 참가자 데이터에서의 정확도(42.08%)가 다수 참가자 데이터(33.07%)보다 높았으며, 이는 반복 세션으로 인한 노이즈 증가를 시사한다.