[논문 리뷰] Personalized Prediction of Recurrent Stress Events Using Self-Supervised Learning on Multimodal Time-Series Data

Tanvir Islam, Peter Washington|arXiv (Cornell University)|2023. 07. 07.

Mental Health Research Topics인용 수 8

한 줄 요약

이 논문은 최소한의 주석으로 개인별 멀티모달 생체 신호를 사전 학습해 스트레스를 예측하는 개인화된, 자기지도 학습 프레임워크를 제시하며, WESAD 데이터셋에서 평가됩니다.

ABSTRACT

Chronic stress can significantly affect physical and mental health. The advent of wearable technology allows for the tracking of physiological signals, potentially leading to innovative stress prediction and intervention methods. However, challenges such as label scarcity and data heterogeneity render stress prediction difficult in practice. To counter these issues, we have developed a multimodal personalized stress prediction system using wearable biosignal data. We employ self-supervised learning (SSL) to pre-train the models on each subject's data, allowing the models to learn the baseline dynamics of the participant's biosignals prior to fine-tuning the stress prediction task. We test our model on the Wearable Stress and Affect Detection (WESAD) dataset, demonstrating that our SSL models outperform non-SSL models while utilizing less than 5% of the annotations. These results suggest that our approach can personalize stress prediction to each user with minimal annotations. This paradigm has the potential to enable personalized prediction of a variety of recurring health events using complex multimodal data streams.

연구 동기 및 목표

• 다중 모달 생체 신호에서 스트레스 예측에서 라벨 희소성과 데이터 이질성을 해결한다.
• 개별 사용자별로 학습되는 개인화 모델을 개발하여 개인의 기저 동역학을 포착한다.
• 비라벨링 데이터로부터 강건한 표현을 학습하기 위해 자기지도 사전 학습을 활용한다.
• 향상된 스트레스 예측을 위해 여러 생체 신호(EDA, ECG, EMG, TEMP, RESP, ACC)를 융합한다.
• 성능을 유지하거나 개선하면서 주석 요구를 감소시킴을 입증한다.

제안 방법

• 원시 다중 모달 생체 신호 데이터를 겹치는 창으로 분할하여 모델 입력으로 사용한다.
• 주험자별(피험자별) 자기지도 사전 학습 과제를 사용하여 비라벨링 데이터로부터 기저 표현을 학습한다.
• 라벨이 있는 데이터를 사용하여 다운스트림 스트레스 예측 작업에서 사전 학습된 모델을 미세 조정한다.
• 후기 단계 융합을 통해 여섯 가지 모달리티를 융합하여 스트레스 예측을 위한 다중 모달 표현을 생성한다.
• 사전 학습된 레이어를 동결하고 작업별 밀집층으로 구성된 2단계 아키텍처를 학습한다.
• RMSE를 사용하여 평가하고 SSL 사전 학습을 순수 지도 학습과 비교한다.

Figure 1: Personalized stress prediction framework involves segmenting the raw signal into overlapping data points and utilizing a self-supervised pre-training forecasting model (right model), which is then fine-tuned for stress prediction. We compare this model to a supervised learning model (left

실험 결과

연구 질문

• RQ1 제한된 주석에서도 per-user 자기지도 사전 학습이 비-SSL 접근법보다 스트레스 예측을 개선할 수 있는가?
• RQ2 다중 모달 개인화가 단일 모달 또는 비개인화 모델과 비교하여 성능에 어떤 영향을 미치는가?
• RQ3 SSL이 정확한 스트레스 예측을 달성하기 위해 필요한 라벨 예시의 수를 줄이는가?

주요 결과

• SSL 사전 학습은 모든 피실험자와 모든 주석 유형에서 순수 지도 학습 모델보다 현저히 낮은 RMSE를 산출한다.
• SSL 모델은 임의로 샘플링된 데이터 포인트 5개만으로 학습하더라도 비-SSL 모델을 능가한다.
• 개인화된 다중 모달 SSL은 예측 정확도를 유지하면서 주석 부담을 줄인다.
• 여섯 가지 바이오신호의 융합 다중 모달 표현은 스트레스 예측 성능을 향상시킨다.
• 이 접근법은 피험자별 기초를 사용하여 통제된 데이터셋(WESAD)에서 견고한 개선을 보여준다.

Figure 2: RMSE between a model fine-tuned after SSL and a model trained purely with supervised training for all subjects and all annotation types.