[논문 리뷰] Multimodal Stress Detection Using Facial Landmarks and Biometric Signals

Majid Hosseini, Morteza Bodaghi외 3명|arXiv (Cornell University)|2023. 11. 06.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 얼굴 랜드마크(2D-CNN)와 생체 신호(1D-CNN)를 조합하여 초기 융합 및 후기 융합 전략을 사용하는 다중모달 스트레스 감지 프레임워크를 제안한다. 초기 융합에서는 98.38%의 정확도를 달성하여 후기 융합(94.39%)과 단모달 모델을 능가하며, 다양한 생리적 및 시각적 자극에서 통합된 딥러닝이 스트레스 감지의 신뢰성과 일반화 능력을 향상시킨다는 것을 입증한다.

ABSTRACT

The development of various sensing technologies is improving measurements of stress and the well-being of individuals. Although progress has been made with single signal modalities like wearables and facial emotion recognition, integrating multiple modalities provides a more comprehensive understanding of stress, given that stress manifests differently across different people. Multi-modal learning aims to capitalize on the strength of each modality rather than relying on a single signal. Given the complexity of processing and integrating high-dimensional data from limited subjects, more research is needed. Numerous research efforts have been focused on fusing stress and emotion signals at an early stage, e.g., feature-level fusion using basic machine learning methods and 1D-CNN Methods. This paper proposes a multi-modal learning approach for stress detection that integrates facial landmarks and biometric signals. We test this multi-modal integration with various early-fusion and late-fusion techniques to integrate the 1D-CNN model from biometric signals and 2-D CNN using facial landmarks. We evaluate these architectures using a rigorous test of models' generalizability using the leave-one-subject-out mechanism, i.e., all samples related to a single subject are left out to train the model. Our findings show that late-fusion achieved 94.39\% accuracy, and early-fusion surpassed it with a 98.38\% accuracy rate. This research contributes valuable insights into enhancing stress detection through a multi-modal approach. The proposed research offers important knowledge in improving stress detection using a multi-modal approach.

연구 동기 및 목표

• 심박수, EDA, 피부 온도와 같은 생체 신호와 얼굴 랜드마크 분석을 융합하여 스트레스 감지 정확도를 향상시키기 위해.
• 이질적인 모odal(2D-CNN를 통한 얼굴 랜드마크, 1D-CNN를 통한 생체 신호)을 융합하기 위한 초기 융합 및 후기 융합 기법의 효과를 평가하기 위해.
• 실세계 데이터셋에서 철저한 한 명의 참가자를 제외한 교차검증 프로토콜을 사용하여 모델의 일반화 능력을 평가하기 위해.
• 특징 선택 방법과 EDA의 토닉/포스틱 성분이 모델 성능에 미치는 영향을 분석하기 위해.
• 모델 복잡도, 학습 시간, 추론 효율성 간의 상호 교환 관계를 비교하기 위해 계산 비용을 분석하기 위해.

제안 방법

• 얼굴 표정의 공간적 및 시간적 동역학을 모델링하기 위해 영상 데이터에서 2D-CNN를 사용하여 얼굴 랜드마크를 추출하였다.
• 심박수, EDA, 피부 온도와 같은 생체 신호를 1D-CNN를 사용하여 생리적 반응의 시간적 패턴을 캡처하였다.
• 최종 완전 연결 DNN 레이어 이전에 1D-CNN 및 2D-CNN 특징를 연결하여 초기 융합을 구현하였다.
• 각 모달리티를 별도로 처리하고 결정 레이어에서 요소별 평균을 사용하여 예측을 융합함으로써 후기 융합을 구현하였다.
• 입력 특징를 최적화하기 위해 다수의 특징 선택 기법(랜덤 포레스트 기반 중요도, 재귀적 특징 제거, 분산 임계값)을 적용하였다.
• 강건한 일반화 능력을 확보하기 위해 참가자를 한 명씩 제외한 교차검증 전략을 사용하여 모델을 학습하고 평가하였다.

Figure 1: Illustration of the 68 facial landmarks

실험 결과

연구 질문

• RQ1 1D-CNN(생체 신호)와 2D-CNN(얼굴 랜드마크)의 초기 융합이 다중모달 스트레스 감지에서 후기 융합보다 우월한가?
• RQ2 다양한 특징 선택 방법은 다중모달 스트레스 감지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 EDA의 토닉 및 포스틱 성분을 포함할 경우 모델 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ4 초기 융합 및 후기 융합 아키텍처 간의 계산 비용(학습 시간, 파라미터 수, 추론 시간)은 어떻게 달라지는가?
• RQ5 다중모달 융합은 특히 중요한 응용 분야에서 고스트레스 감지의 거짓 음성률을 줄일 수 있는가?

주요 결과

• 1D-CNN(생체 신호)와 2D-CNN(얼굴 랜드마크)의 초기 융합이 98.38%의 최고 정확도를 기록하여 후기 융합(94.39%)을 뚜렷이 앞서갔다.
• EDA의 토닉 및 포스틱 성분을 포함시킴으로써 정확도는 3.57%, 정밀도는 9.23%, 재현율은 10.47%, F1-스코어는 10.71% 향상되었다.
• 랜덤 포레스트 기반 특징 선택은 96.94%의 정확도를 달성하였고, 분산 임계값 기반 방법은 성능을 92.76%로 낮추어 지능적인 특징 정제의 중요성을 입증하였다.
• 1D-CNN 모델은 총 학습 가능한 파라미터 수가 가장 많았으며(23,931개), 동시에 학습 시간도 가장 짧아(2,590초) 복잡도와 속도 사이의 상충 관계를 보였다.
• 후기 융합 모델은 모달리티 전용 네트워크를 별도로 학습해야 하므로, 파라미터 수는 적었지만 학습 시간이 더 길었으며(2,220–2,930초), 이는 병렬 처리의 비효율성을 반영한다.
• 단일 2D-CNN 모델은 공간적 및 시간적 얼굴 운동을 잘 포착할 수 있어 생체 신호 전용 1D-CNN 모델보다 뛰어난 성능을 보였다.

Figure 2: Phasic and Tonic components of raw EDA signal