[논문 리뷰] Semi-Supervised Learning and Data Augmentation in Wearable-based Momentary Stress Detection in the Wild

Han Yu, Akane Sano|arXiv (Cornell University)|2022. 02. 22.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 웨어러블 센서 데이터를 사용한 순간적 스트레스 감지 향상을 위해 데이터 증강(DA), 활성 샘플링을 통한 LSTM 오토에인코더(LSTM-AE) 사전학습, 일관성 정규화(CR)를 결합한 준지도학습 프레임워크를 제안한다. 이 방법은 세 가지 실세계 데이터셋에서 지도학습 기반 모델 대비 F1 점수를 7.7%에서 13.8%까지 향상시켜, 제한된 레이블 데이터와 풍부한 비레이블 생리적 및 행동 신호를 활용한 성능 향상이 뚜렷하게 입증된다.

ABSTRACT

Physiological and behavioral data collected from wearable or mobile sensors have been used to estimate self-reported stress levels. Since the stress annotation usually relies on self-reports during the study, a limited amount of labeled data can be an obstacle in developing accurate and generalized stress predicting models. On the other hand, the sensors can continuously capture signals without annotations. This work investigates leveraging unlabeled wearable sensor data for stress detection in the wild. We first applied data augmentation techniques on the physiological and behavioral data to improve the robustness of supervised stress detection models. Using an auto-encoder with actively selected unlabeled sequences, we pre-trained the supervised model structure to leverage the information learned from unlabeled samples. Then, we developed a semi-supervised learning framework to leverage the unlabeled data sequences. We combined data augmentation techniques with consistency regularization, which enforces the consistency of prediction output based on augmented and original unlabeled data. We validated these methods using three wearable/mobile sensor datasets collected in the wild. Our results showed that combining the proposed methods improved stress classification performance by 7.7% to 13.8% on the evaluated datasets, compared to the baseline supervised learning models.

연구 동기 및 목표

• 지속적인 센서 데이터 수집에도 불구하고 자가 보고가 희소한 실세계 환경에서 웨어러블 기반 순간적 스트레스 감지에 있어 레이블 데이터 부족 문제를 해결하기 위해.
• 실외에서 수집된 방대한 비레이블 생리적 및 행동 센서 데이터를 효과적으로 활용하여 모델의 일반화 능력과 강인성을 향상시키기 위해.
• 시간 시리즈 스트레스 모델링을 위한 데이터 증강, 비레이블 시퀀스의 활성 샘플링, 일관성 정규화를 결합한 준지도학습 프레임워크를 개발하기 위해.
• 다양한 센서 모odal리티와 참가자 인구군을 가진 실세계 데이터셋 간에서 제안된 방법의 성능을 평가하기 위해.
• 선택적 중요도 분석 및 시각화를 통한 모델 해석성 향상과 스트레스 예측에 영향을 주는 주요 입력 특징 분석을 위해.

제안 방법

• 데이터 증강(DA), 비레이블 시퀀스의 활성 샘플링을 통한 LSTM-AE 사전학습, 일관성 정규화(CR)를 통합한 준지도학습 프레임워크를 제안한다.
• 레이블이 없는 데이터를 활성적으로 선택하여 사전학습된 오토에인코더를 통해 모델을 훈련시으며, 레이블된 데이터로의 피나이닝 이전에 강력한 표현을 학습한다.
• 레이블된 데이터뿐 아니라 비레이블 데이터에도 데이터 증강을 적용하여, 모델의 강인성을 향상시키기 위해 변형된 버전을 생성한다.
• 원본 및 증강된 비레이블 샘플 간 예측 일관성을 강제하여 일관성 정규화를 구현함으로써 일반화 능력을 향상시킨다.
• 모델 결정의 해석을 위해 시각화 지도를 활용하며, 스트레스 예측에 영향을 주는 핵심 입력 특징을 식별한다.
• 장기적 단기 기억(LSTM) 네트워크를 사용한 3클래스 스트레스 분류 작업(저/중/고)을 통해 시간 시리즈 모델링을 수행한다.

실험 결과

연구 질문

• RQ1 비레이블 웨어러블 센서 데이터의 활성 샘플링이 지도학습 기반 스트레스 감지 모델의 성능 향상에 기여하는가?
• RQ2 데이터 증강과 일관성 정규화를 병합함으로써 스트레스 감지에서 모델의 강인성과 정확도가 어떻게 향상되는가?
• RQ3 LSTM-AE 사전학습을 통한 준지도학습이 지도학습 기반 모델 대비 F1 점수를 얼마나 향상시키는가?
• RQ4 다양한 센서 모달리티와 참가자 인구군을 가진 실세계 데이터셋 간에서 특징 중요도 패턴은 어떻게 다름이 있는가?
• RQ5 비일관된 센서 유형과 샘플링 주기로 구성된 데이터셋 간에도 제안된 프레임워크가 일반화 가능한가?

주요 결과

• 제안된 준지도학습 프레임워크는 세 가지 실세계 데이터셋에서 지도학습 기반 모델 대비 F1 점수를 7.7%에서 13.8%까지 향상시켰다.
• LSTM-AE 사전학습 단계에서 비레이블 시퀀스를 활성 샘플링한 결과, 무작위 샘플링보다 더 낮은 비레이블 샘플 수로도 더 높은 성능을 달성했다.
• 데이터 증강, LSTM-AE 사전학습, 일관성 정규화의 조합이 평가된 모든 데이터셋에서 가장 높은 F1 점수를 기록했다.
• 200명 이상의 참가자가 포함된 TILES 데이터셋은 참가자 다양성이 높아 코바리에이트 시프트가 감소하여 가장 높은 F1 점수를 기록했다.
• 시각화 지도 분석 결과, 피부 전도도, ECG 특징, 스마트폰 사용 패턴(예: 엔터테인먼트 앱 사용) 등이 스트레스 예측에 핵심 기여 요소로 확인되었다.
• 센서 유형, 샘플링 주파수, 데이터 모달리티의 차이로 인해 데이터셋 간 성능에 차이가 있었으며, 이는 일반화의 과제를 강조한다.