[논문 리뷰] ForDigitStress: A multi-modal stress dataset employing a digital job interview scenario

Alexander Heimerl, Pooja Prajod외 8명|arXiv (Cornell University)|2023. 03. 14.

Emotion and Mood Recognition인용 수 5

한 줄 요약

이 논문은 40명의 참가자가 시뮬레이션된 디지털 취업 면접을 받는 동안 음성, 영상(면역점, 운동 캡처, 눈의 움직임 추적), 생리 신호(PPG, EDA)를 촬영한 새로운 다중모달 스트레스 데이터셋인 ForDigitStress를 소개한다. 이 데이터셋은 연속적인 스트레스 및 정서 주석을 포함하며, 상호 평가자 간 신뢰도가 높은 편(코HEN의 κ > 0.7). 최고의 성능을 보인 모델은 융합된 다중모달 데이터에 대한 초기 PCA를 적용한 신경망을 사용하여 이진 스트레스 분류에서 88.3%의 정확도와 87.5%의 F1 점수를 기록했다.

ABSTRACT

We present a multi-modal stress dataset that uses digital job interviews to induce stress. The dataset provides multi-modal data of 40 participants including audio, video (motion capturing, facial recognition, eye tracking) as well as physiological information (photoplethysmography, electrodermal activity). In addition to that, the dataset contains time-continuous annotations for stress and occurred emotions (e.g. shame, anger, anxiety, surprise). In order to establish a baseline, five different machine learning classifiers (Support Vector Machine, K-Nearest Neighbors, Random Forest, Long-Short-Term Memory Network) have been trained and evaluated on the proposed dataset for a binary stress classification task. The best-performing classifier achieved an accuracy of 88.3% and an F1-score of 87.5%.

연구 동기 및 목표

• 디지털 취업 면접을 활용하여 실제적이고 검증된 스트레스 유도 프로토콜을 개발하여 인간의 스트레스 반응을 연구한다.
• 통제된 환경이지만 생태학적으로 타당한 조건에서 참가자로부터 음성, 영상, 생리 신호 등의 다중모달 데이터를 수집하고 동기화한다.
• 자기 보고 및 전문가 주석이 내재된 고품질의 시간 연속 데이터셋을 구축하여 기계 학습 응용을 위한 스트레스 및 정서 레이블을 제공한다.
• 특히 눈의 움직임 및 동공 특징이 자동 스트레스 인식에 얼마나 효과적인지 평가한다.
• 면접 전후의 침에서 코르티솔 수치를 측정하여 스트레스 유도의 생물학적 타당성을 검증한다.

제안 방법

• 참가자들은 스트레스를 유도하기 위해 설계된 원격 디지털 취업 면접을 경험하였으며, Social Signal Interpretation(SSI) 프레임워크를 사용하여 다중 센서를 동기화하여 데이터를 촬영하였다.
• 다중모달 데이터로는 음성(GEMAPS 특징), 영상(OpenPose 신체 관절점, 얼굴 랜드마크, 동작 유닛), 눈의 움직임(동공 직경, 오토에인코더로 학습된 잠재 특징), 생리 신호(PPG를 통한 HRV, EDA)가 포함되었다.
• 스트레스 및 정서 주석은 자기 보고와 두 명의 경험이 풍부한 심리학자에 의한 프레임 단위 라벨링를 통해 생성되었으며, 상호 평가자 간 신뢰도는 코HEN의 카프라를 사용하여 평가되었다.
• 면접 전후로 침에서 코르티솔 수치를 측정하여 생물학적 스트레스 반응을 검증하였다.
• HRV, EDA, 얼굴 동작 유닛, 음성 특징, 동공 동역학 등을 포함한 종합적인 특징 세트를 구성한 후, 초기 및 후기 PCA를 통해 차원 감소를 수행하였다.
• 이진 스트레스 분류를 위해 다섯 가지 기계 학습 분류기(SVM, KNN, 랜덤 포레스트, 피드포워드 신경망, LSTM)를 훈련 및 평가하였으며, 개별 모달리티 및 융합 전략에 대한 분석 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 디지털 취업 면접은 참가자들에서 인지된 스트레스와 생물학적 스트레스를 신뢰성 있게 유도할 수 있는가?
• RQ2 특히 동공 동역학과 HRV와 같은 다중모달 특징은 실시간 스트레스 인식에 얼마나 효과적인가?
• RQ3 얼굴 표정, EDA, HRV 등의 개별 모달리티가 스트레스 인식 성능에 기여하는 비율은 어떻게 되는가?
• RQ4 연속적이고 프레임 단위의 스트레스 주석은 이산 레이블에 비해 다이나믹한 스트레스 인식 성능을 얼마나 향상시키는가?
• RQ5 근접 촬영된 눈 영상 특징, 특히 동공 크기와 잠재 표현은 스트레스의 신뢰할 수 있는 지표가 될 수 있는가?

주요 결과

• 디지털 모의 취업 면접 시나리오는 생물학적 스트레스를 유의미하게 유도하였으며, 면접 후 5분에 최고의 침 코르티솔 수치가 관찰되어 유효한 생리적 스트레스 반응임을 확인하였다.
• 인지된 스트레스는 면접 직후에 가장 높았으며, 이는 호르몬 스트레스 반응의 일반적인 지연을 반영한다.
• 스트레스 및 정서 주석에 대한 상호 평가자 간 신뢰도는 모든 레이블에서 중간에서 거의 완전 수준이었으며(코HEN의 κ > 0.7), 높은 수준을 유지하였다.
• 최고의 성능을 보인 모델은 모든 융합된 모달리티에 대한 초기 PCA를 적용한 신경망을 사용하여 이진 스트레스 분류에서 88.3%의 정확도와 87.5%의 F1 점수를 기록하였다.
• HRV 특징만으로도 가장 높은 단일 모달리티 성능(79.7% 정확도)을 기록하여 스트레스에 매우 민감한 특징임을 시사하였다.
• 오토에인코더로 학습된 잠재 표현과 동공 직경을 포함한 동공 관련 특징은 뚜렷한 예측 능력을 보였으며, 비침습적 스트레스 검출에 잠재력이 있음을 강조하였다.