[논문 리뷰] A multimodal stress detection dataset with facial expressions and physiological signals

Majid Hosseini, Fahad Sohrab외 6명|arXiv (Cornell University)|2022. 08. 29.

Emotion and Mood Recognition인용 수 7

한 줄 요약

이 논문은 20명의 참가자가 26시간 동안 다양한 스트레스 수준에서 촬영한 얼굴 표정과 생리적 신호(심박수, 전도성 활동, 피부 온도 등)를 촬영한 새로운 다중모달 데이터셋인 EmpathicSchool을 소개한다. 이 데이터셋은 얼굴 정서 자극과 생리적 신호 간의 상관관계를 통해 다중모달 스트레스 감지가 가능하게 하며, 통계적 검증을 통해 심박수와 특정 정서(예: 분노, 놀람, 슬픔)가 스트레스 수준에 따라 유의미한 차이를 보임을 확인했다(p < 0.05).

ABSTRACT

Affective computing has garnered the attention and interest of researchers in recent years, as there is a need for AI systems to better understand and react to human emotions. However, analyzing human emotions, such as mood or stress, is quite complex. While various stress studies use facial expressions and wearables, most existing datasets rely on processing data from a single modality. This paper presents EmpathicSchool, a novel dataset that captures facial expressions and the associated physiological signals, such as heart rate, electrodermal activity, and skin temperature, under different stress levels. The data was collected from 30 participants during different sessions for about ninety minutes each (for a total of 40 hours). The data includes seven different signal types, including both computer vision and physiological features that can be used to detect stress. In addition, various experiments were conducted to validate the signal quality.

연구 동기 및 목표

• 스트레스 감지에 있어 얼굴 표정과 생리적 신호를 동시에 분석하는 다중모달 데이터셋의 부족을 보완하기 위해.
• 다양한 스트레스 수준에서 정서적 표현과 생리적 반응을 고해상도로 실시간 기록한 고품질 데이터셋을 구축하기 위해.
• 신호 품질을 검증하고 특정 정서와 스트레스 관련 생리적 변화 간의 통계적 상관관계를 확립하기 위해.
• 교육, 헬스케어, 직장 웰니스 분야에서 공감형 시스템 개발을 지원하기 위해 레이블이 부여된 다중모달 데이터를 제공하기 위해.
• 공개된 데이터셋을 통해 영상 및 센서 데이터를 제공함으로써 정서 및 스트레스 분석을 위한 정서 컴퓨팅 분야의 연구를 지원하기 위해.

제안 방법

• 26시간 동안 여러 세션에 걸쳐 20명의 참가자로부터 동기화된 영상 촬영과 웨어러블 센서를 활용해 데이터를 수집했다.
• 얼굴 특징(이н셉션V3 및 dlib 68점 랜드마크를 통해)과 생리적 신호(ECG, EDA, 피부 온도 등)를 포함한 총 아홉 가지의 다양한 신호 유형을 측정했다.
• 저, 중, 고 스트레스 수준 세 가지로 나누어진 통제된 실험 환경에서 진행되었으며, 각 정서 상태에 대한 레이블이 부여되었다.
• 스트레스 수준 간 생리적 신호의 유의미한 차이를 검증하기 위해 일원분산분석(one-way ANOVA)을 적용했다.
• 정확한 정서 인식을 위해 사전 학습된 모델(InceptionV3, FER-2013 기반)과 dlib를 활용해 얼굴 특징 추출을 수행했다.
• 얼굴 표정 분석 및 생리적 신호 시각화를 위한 오픈소스 코드를 제공하여 재현성과 향후 분석을 가능하게 했다.

실험 결과

연구 질문

• RQ1 다양한 스트레스 조건 하에서 얼굴 표정과 생리적 신호를 신뢰성 있게 동기화하고 레이블링할 수 있는가?
• RQ2 심박수, EDA, 피부 온도 등의 생리적 신호 중 어느 것이 명백한 스트레스 수준 간 유의미한 차이를 보이는가?
• RQ3 특정 얼굴 정서(예: 분노, 놀람, 슬픔)는 스트레스 관련 생리적 변화와 어떻게 상관관계가 있는가?
• RQ4 통제된 환경에서 급성 스트레스 노출 시 정서 상태와 생리적 반응이 얼마나 공변하는가?
• RQ5 이 데이터셋은 온라인 교육 또는 ICU 모니터링과 같은 분야에서 실시간 다중모달 스트레스 감지 시스템 개발을 지원할 수 있는가?

주요 결과

• 심박수는 스트레스 수준 간에 통계적으로 유의미한 차이를 보였다(F = 4.346, p = 0.037), 이는 스트레스 지표로 신뢰할 수 있음을 뒷받침한다.
• 분노(p = 0.004), 놀람(p = 0.022), 슬픔(p = 0.030)과 같은 정서는 스트레스와 유의미하게 상관관계가 있었으며, 강력한 다중모달 신호 관계를 시사한다.
• 전도성 활동(EDA), 피부 온도, 중립/행복/공포/혐오 상태에서는 스트레스 수준 간에 유의미한 차이가 없었으며(p > 0.05), 이는 이 데이터셋에서 한계된 분류 능력을 가짐을 시사한다.
• 피부 온도는 초기 스트레스 유발 시점에서 급격히 감소하는 경향을 보였지만, 이후에는 증가하는 경향을 보여, 스트레스와 복잡한 시간적 관계를 가짐을 시사한다.
• 데이터셋은 참가자 간 반복 측정 및 통계 분석을 통해 높은 신호 품질과 일관성을 확보했다.
• InceptionV3 및 dlib를 활용한 얼굴 표정 분석과 생리적 신호 처리의 조합은 스트레스 모델링을 위한 강력한 실시간 다중모달 특징 추출을 가능하게 했다.