[논문 리뷰] AMIGOS: A Dataset for Affect, Personality and Mood Research on Individuals and Groups

Juan Abdon Miranda-Correa, Mojtaba Khomami Abadi외 2명|arXiv (Cornell University)|2017. 02. 02.

Mental Health Research Topics인용 수 16

한 줄 요약

AMIGOS는 40명의 참가자가 개인 및 집단 환경에서 짧고 긴 감정 영상을 노출된 동안 뇌파(EEG), 심전도(ECG), 피부전도(GSR), 영상, 자가 및 외부 평가 기반의 정서 평가를 포함하는 공개된 다중모달 데이터셋이다. 이 데이터셋은 정서, 성격, 기분 연구를 가능하게 하며, GSR는 긴 영상에서 성격 및 기분 예측 시 가장 높은 F1 점수(0.623)를 기록했고, EEG는 정서의 평가/각성도 분류에서 다른 모달리티보다 뛰어난 성능을 보였다.

ABSTRACT

We present AMIGOS-- A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS. Different to other databases, we elicited affect using both short and long videos in two social contexts, one with individual viewers and one with groups of viewers. The database allows the multimodal study of the affective responses, by means of neuro-physiological signals of individuals in relation to their personality and mood, and with respect to the social context and videos' duration. The data is collected in two experimental settings. In the first one, 40 participants watched 16 short emotional videos. In the second one, the participants watched 4 long videos, some of them alone and the rest in groups. The participants' signals, namely, Electroencephalogram (EEG), Electrocardiogram (ECG) and Galvanic Skin Response (GSR), were recorded using wearable sensors. Participants' frontal HD video and both RGB and depth full body videos were also recorded. Participants emotions have been annotated with both self-assessment of affective levels (valence, arousal, control, familiarity, liking and basic emotions) felt during the videos as well as external-assessment of levels of valence and arousal. We present a detailed correlation analysis of the different dimensions as well as baseline methods and results for single-trial classification of valence and arousal, personality traits, mood and social context. The database is made publicly available.

연구 동기 및 목표

• 개인 및 집단 사회적 맥락에서 정서, 성격, 기분을 동시에 연구할 수 있는 다중모달 데이터셋의 부족을 보완하기 위해.
• 통제된 감정 자극 하에 동기화된 신경생리 신호(EEG, ECG, GSR), 영상, 정서 평가를 수집하기 위해.
• 정서, 각성도, 성격 특성, 기분, 사회적 맥락의 단일 시험 분류를 위한 방법 평가 기준 제공을 위해.
• 생태학적으로 타당한 사회적 맥락에서 정서 컴퓨팅의 발전을 위한 공개 가능한 자원 제공을 위해.

제안 방법

• 참가자들은 개인 환경에서 짧은 감정 영상, 개인 및 집단 조건에서 긴 영상에 노출되었다.
• 정밀한 동기화를 확보하기 위해 웨어러블 센서를 사용해 뇌파(EEG), 심전도(ECG), 피부전도(GSR)를 기록하였다.
• 다중모달 분석을 지원하기 위해 전 frontal HD, RGB, 깊이(full-body) 영상을 촬영하였다.
• 자기 평가(정서, 각성도, 통제감, 익숙함, 선호도, 기본 정서) 및 세 명의 평가자에 의한 외부 평가를 통해 정서 반응을 평가하였다.
• 성격 평가는 빅파이브 모델을, 기분 평가는 PANAS 척도를 사용하였다.
• 정서, 각성도, 성격 특성, 기분, 사회적 맥락의 단일 모달리티 및 특징 수준 융합 분류를 위한 기초 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 개인 및 집단 시청 맥락이 참가자의 정서 반응(정서 및 각성도)에 어떻게 다르게 영향을 미치는가?
• RQ2 다중모달 맥락에서 자기 평가와 외부 평가 간의 정서 관련성은 어느 정도인가?
• RQ3 정신적 성격 특성 및 기분 분류에서 EEG, ECG, GSR 중 어느 생리적 모달리티가 가장 우수한 성능을 보이는가?
• RQ4 다중모달 신호의 특징 수준 융합이 정서, 성격, 사회적 맥락 분류 성능을 향상시키는가?
• RQ5 영상 길이(짧은 vs. 긴)와 사회적 맥락이 정서적 및 생리적 반응 형성에 어떻게 상호작용하는가?

주요 결과

• 외부 평가의 정서 및 각성도는 자기 평가와 유의미한 상관관계를 보였으며, 이는 정서 상태의 대체 지표로 신뢰할 수 있음을 검증하였다.
• 집단 시청은 개인 시청 대비 더 높은 정서와 강한 각성 반응을 유도하였으며, 특히 고각성도 영상에서 두드러졌다.
• 정서 및 각성도 분류에서 EEG가 ECG 및 GSR보다 가장 뛰어난 성능을 보였다.
• 긴 영상에서의 GSR은 모든 성격 특성 및 기분 차원에서 평균 F1 점수 0.623을 기록하여 가장 높은 성능을 보였다.
• 특징 수준 융합은 PA 및 NA 예측에서 성능 향상을 보였지만, 대부분의 경우 최고의 단일 모달리티 성능을 능가하지 못했다.
• 짧고 긴 영상을 모두 포함한 '모든 영상' 시나리오는 성능 향상을 이끌지 못했으며, 영상 유형 간 도메인 이동 또는 복잡성 문제를 시사하였다.